Što znači dopamin? (2018)

Sažetak

Je li dopamin signal za učenje, motivaciju ili oboje?

Naše razumijevanje dopamina promijenilo se u prošlosti i opet se mijenja. Jedna kritična razlika je između učinaka dopamina struja ponašanje (učinak) i učinci dopamina budućnost ponašanje (učenje). Oba su stvarna i važna, ali u raznim vremenima netko je bio za, a drugi nije.

Kada je (u 70) postalo moguće izvršiti selektivne, potpune lezije putova dopamina, očigledna posljedica ponašanja bila je ozbiljno smanjenje kretanja¹, Ovo se uklapa s akinetičkim učincima gubitka dopamina kod ljudi, koji su posljedica napredne Parkinsonove bolesti, toksičnih lijekova ili encefalitisa.², Ipak, ni pacovi ni ljudski slučajevi ne pokazuju temeljnu nesposobnost za kretanje. Štakori koji su oštećeni dopaminom plivaju u hladnoj vodi³i akinetički pacijenti mogu ustati i trčati ako se oglasi požarni alarm ("paradoksalna" kinezija). Niti postoji osnovni deficit u cijenjenju nagrada: štakori s dopaminskim lezijama konzumiraju hranu smještenu u usta i pokazuju znakove uživanja u njoj⁴, Umjesto toga, oni neće izabrati da nastoje aktivno dobiti nagrade. Ovi i mnogi drugi rezultati ustanovili su temeljnu vezu između dopamina i motivacije⁵, Čak i usporavanje kretanja koje se opaža u manje ozbiljnim slučajevima Parkinsonove bolesti može se smatrati motivacijskim deficitom, odražavajući implicitne odluke da nije vrijedno trošiti energiju potrebnu za brže kretanje⁶.

Tada su (u 80-ovima) došli pionirski snimci dopaminskih neurona u ponašanju majmuna (u srednjim dijelovima mozga koji projiciraju na prednji mozak: ventralno tegmentalno područje, VTA / substantia nigra pars compacta, SNc). Među promatranim uzorcima plamena bili su kratki izbojci aktivnosti za podražaje koji su pokrenuli neposredne pokrete. Ovo "fazno" otpuštanje dopamina u početku se tumačilo kao podrška "aktivaciji ponašanja"⁷ i "motivacijsko uzbuđenje"⁸ - drugim riječima, kao okrepljivanje trenutnog ponašanja životinje.

Došlo je do radikalnog pomaka u 90-ima, s reinterpretacijom faznih dopaminskih rafala kao kodiranja pogreške predviđanja nagrade (RPEs⁹). To se temeljilo na ključnom zapažanju: dopaminske stanice reagiraju na neočekivane podražaje povezane s budućom nagradom, ali često prestaju reagirati ako se ti podražaji očekuju¹⁰, Ideja RPE nastala je u ranijim teorijama učenja, a posebno u tada razvijenom području računalnih znanosti u učenju pojačanja¹¹, Točka RPE signala je ažurirati vrijednosti(procjene budućih nagrada). Ove vrijednosti se koriste kasnije, kako bi se pomoglo pri izboru koji maksimizira nagradu. Budući da je otpuštanje dopaminskih stanica sličilo RPE-ima, a RPE-i se koriste za učenje, postalo je prirodno naglasiti ulogu dopamina u učenju. Kasnije optogenetske manipulacije potvrdile su dopaminergični identitet RPE-kodirajućih stanica^12,13 i pokazali su da doista moduliraju učenje^14,15.

Ideja da dopamin daje signal učenja lijepo se uklapa u literaturu da dopamin modulira sinaptičku plastičnost u striatumu, primarnoj metodi prednjeg mozga dopamina. Na primjer, trostruka podudarnost glutamatne stimulacije striatne dendritne kralježnice, postsinaptičke depolarizacije i oslobađanja dopamina uzrokuje rast kralježnice¹⁶, Dopaminergička modulacija mehanizama dugotrajnog učenja pomaže u objašnjavanju trajnih učinaka ovisnosti koje djeluju ovisno o drogama, a koje dijele svojstvo povećanja striatnog oslobađanja dopamina.¹⁷, Čak i duboka akinezija s gubitkom dopamina može se djelomično objasniti takvim mehanizmima učenja¹⁸, Nedostatak dopamina može se tretirati kao stalno negativan RPE, koji progresivno ažurira vrijednosti aktivnosti prema nuli. Slične progresivne, ekstinkcijske učinke na ponašanje mogu proizvesti antagonisti dopamina^19,20.

Ipak, ideja da je dopamin kritično uključen u trajnu motivaciju nikada nije nestala - naprotiv, neuroznanstvenici u ponašanju to uzimaju zdravo za gotovo. To je prikladno s obzirom na snažne dokaze da su funkcije dopamina u motivaciji / pokretu / okrepljenju odvojene od učenja^15,20-23, Manje široko cijenjen izazov je u pomirenju ove motivacijske uloge s teorijom da DA osigurava RPE signal učenja.

Motivacija “gleda naprijed”: koristi predviđanja buduće nagrade (vrijednosti) kako bi prikladno potaknula trenutačno ponašanje. Nasuprot tome, učenje “gleda unatrag” na stanja i djelovanja u nedavnoj prošlosti i ažurira njihove vrijednosti. To su komplementarne faze ciklusa: ažurirane vrijednosti mogu se koristiti u naknadnom donošenju odluka ako se ta stanja ponovno susreću, a zatim ponovno ažuriraju, i tako dalje. Ali u kojoj je fazi ciklusa dopamin uključen - korištenje vrijednosti za donošenje odluka (izvedba) ili ažuriranje vrijednosti (učenje)?

U nekim okolnostima jednostavno je zamisliti da dopamin svira obje uloge istovremeno.²⁴Neočekivani, prediktivni znakovi za nagrađivanje su arhetipski događaji koji potiču ispaljivanje i oslobađanje dopaminskih stanica, a takvi znakovi tipično obnavljaju i potiču učenje (Slika 1). U ovoj konkretnoj situaciji istovremeno se povećavaju i predviđanje nagrade i pogreške predviđanja nagrade - ali to nije uvijek slučaj. Kao samo jedan primjer, ljudi i druge životinje često su motivirani da rade za nagrade čak i kad se dogodi malo ili ništa iznenađujuće. Možda će raditi sve više i više kako se približavaju nagradi (vrijednost se povećava kako se nagrade približavaju). Poanta je u tome da su učenje i motivacija konceptualno, računski i bihevioralno različiti - a čini se da dopamin čini oboje.

Ispod sam kritički procijeniti trenutne ideje o tome kako dopamin može postići i učenje i motivacijske funkcije. Predlažem ažurirani model, koji se temelji na tri ključne činjenice: 1) oslobađanje dopamina iz terminala ne proizlazi jednostavno iz pucanja dopaminskih stanica, ali se također može lokalno kontrolirati; 2) dopamin utječe na sinaptičku plastičnost i podražljivost ciljnih stanica, s izraženim posljedicama za učenje i uspješnost; Učinci dopamina na plastičnost mogu se uključiti ili isključiti u obližnjim elementima kruga. Zajedno, ove značajke mogu omogućiti prelaz između dva različita dopaminska poruka, za učenje i motivaciju.

Postoje li odvojeni "fazni" i "tonički" dopaminski signali, s različitim značenjem?

Često se tvrdi da se uloga i motivacijska uloga dopamina javljaju u različitim vremenskim skalama²⁵, Dopaminske stanice neprestano pale ("tonično") na nekoliko bodova u sekundi, s povremenim kratkim ("faznim") pucanjem ili pauzama. Pucanja, posebno ako su umjetno sinkronizirana preko dopaminskih stanica, pokreću odgovarajuće brzo povećanje dopamina u mozgu²⁶ koji su vrlo prolazni (trajanje do sekunde²⁷). Odvojeni doprinos otpuštanja toničkih dopaminskih stanica u svrhu suzbijanja koncentracije dopamina je manje jasan. Neki dokazi upućuju na to da je ovaj doprinos vrlo mali²⁸, Može biti dostatno proizvesti gotovo kontinuiranu stimulaciju D2 receptora s većim afinitetom, omogućujući sustavu da primijeti kratke stanke u otpuštanju dopaminskih stanica²⁹ i koristiti te pauze kao negativne pogreške predviđanja.

Mikrodijaliza se naširoko koristi za izravno mjerenje razine dopamina u mozgu, premda s niskom vremenskom rezolucijom (obično se usredotočuje na mnoge minute). Takva polagana mjerenja dopamina mogu biti izazovna da se odnose upravo na ponašanje. Ipak, mikrodijaliza dopamina u nucleus accumbens (NAc; ventral / medial striatum) pokazuje pozitivnu korelaciju s lokomotornom aktivnošću³⁰ i druge pokazatelje motivacije⁵, To je široko prihvaćeno da znači da postoje sporije ("tonične") promjene koncentracije dopamina i da te spore promjene prenose motivacijski signal. Konkretnije, računski modeli su predložili da razina toničnog dopamina prati dugoročnu prosječnu stopu nagrađivanja³¹ - korisna motivacijska varijabla za odluke o raspodjeli vremena i pronalaženju hrane. Vrijedno je naglasiti da vrlo malo radova jasno definira razinu "tonika" dopamina - oni obično samo pretpostavljaju da se koncentracija dopamina polako mijenja tijekom višeminutne vremenske skale mikrodijalize.

Ipak, ovaj pogled na "fazni dopamin = RPE / učenje, tonički dopamin = motivacija" suočava se s mnogim problemima. Prvo, nema izravnih dokaza da se toničko dopaminsko stanično paljenje normalno mijenja tijekom sporih vremenskih skala. Stope tonskog pečenja ne mijenjaju se s promjenom motivacije^32,33, Tvrdi se da se razina toničkog dopamina mijenja zbog promjene udjela aktivnih dopaminskih stanica^34,35, No, u mnogim studijama na nepripremljenim životinjama, dopaminske stanice nikada nisu prijavljene da se mijenjaju između tihih i aktivnih stanja.

Nadalje, činjenica da mikrodijaliza mjeri razine dopamina polako ne znači da se razine dopamina zapravo polako mijenjaju. Nedavno smo¹⁵ Ispitali smo NAc dopamin štakora u probabilističkoj nagradnoj zadaći, koristeći i mikrodijalizu i cikličku voltametriju brzog skeniranja. Potvrdili smo da mezolimbički dopamin, mjeren mikrodijalizom, korelira sa stopom nagrađivanja (nagrade / min). Međutim, čak i uz poboljšanu vremensku rezoluciju mikrodijalize (1min) dopamin je fluktuirao jednako brzo kao što smo ga uzorkovali: nismo vidjeli dokaze za inherentno-spor dopaminski signal.

Koristeći još uvijek finu vremensku razlučivost voltametrije uočili smo blisku vezu između fluktuacija i sekundarnog dopamina i motivacije. Dok su štakori izvodili niz radnji potrebnih za postizanje nagrade, dopamin se uzdizao sve više i više, dostižući vrhunac baš kao što su dobili nagradu (i naglo padajući dok su je konzumirali). Pokazali smo da je dopamin snažno povezan s trenutnom vrijednošću države - definiranom kao očekivana buduća nagrada, diskontirana prema očekivanom vremenu potrebnom za primanje. Ove brze dinamike dopamina također mogu objasniti rezultate mikrodijalize, bez pozivanja na dopaminske signale na različitim vremenskim skalama. Kako životinje doživljavaju više nagrade, povećavaju svoja očekivanja o budućim nagradama na svakom koraku u probnom nizu. Umjesto polako-evolutivnog prosječnog signala za nagrađivanje, korelacija između dopaminskog i nagrađivanog stupnja najbolje se objašnjava kao prosjek, tijekom produljenog vremena prikupljanja uzoraka mikrodijalize, od tih brzouređenih vrijednosti stanja.

Ova interpretacija vrijednosti mezolimbičkog oslobađanja dopamina u skladu je s rezultatima voltametrije drugih istraživačkih skupina, koje su više puta otkrile da se oslobađanje dopamina povećava s povećanjem blizine prema nagradi^36-38(Slika 2). Ovaj motivacijski signal nije inherentno "spor", već se može promatrati kroz kontinuirani raspon vremenskih skala. Iako dopaminske rampe mogu trajati nekoliko sekundi, kada ponašanje u pristupu traje i nekoliko sekundi³⁸, ovo odražava vremenski tijek ponašanja, umjesto intrinzične dinamike dopamina. Odnos između mezolimbičkog oslobađanja dopamina i fluktuirajuće vrijednosti vidljiv je jednako brzo kao što to dopušta tehnika snimanja, tj. Na vremenskoj skali od 100ms s akutnim voltametrijskim elektrodama¹⁵.

Brze fluktuacije dopamina ne samo da odražavaju motivaciju, već i odmah pokreću motivirano ponašanje. Veći fazni odgovori dopaminskih stanica na okidanje signala predviđaju kraća vremena reakcije na istom istom ispitivanju³⁹, Optogenetska stimulacija VTA dopaminskih stanica čini štakorima vjerojatnim da će početi raditi u našem vjerojatnom nagradnom zadatku¹⁵, baš kao da imaju veće očekivanje nagrade. Optogenetska stimulacija SNc dopaminskih neurona ili njihovih aksona u dorzalnom striatumu povećava vjerojatnost pokreta^40,41, Kritično, ovi efekti ponašanja su vidljivi unutar nekoliko stotina milisekundi od početka optogenetske stimulacije. Čini se da sposobnost nagradnog prediktivnog načina da pojača motivaciju posreduje vrlo brzom dopaminergičkom modulacijom ekscitabilnosti NAc spiny neurona⁴², Budući da se dopamin brzo mijenja i ove promjene dopamina brzo utječu na motivaciju, motivacijske funkcije dopamina bolje se opisuju kao brze („fazne“), a ne sporo („tonik“).

Nadalje, pozivanje na odvojene brze i spore vremenske skale samo po sebi ne rješava problem dekodiranja s kojim se suočavaju neuroni s dopaminskim receptorima. Ako dopamin signalizira učenje, modulacija sinaptičke plastičnosti čini se prikladnim staničnim odgovorom. Ali neposredni učinci na motivirano ponašanje podrazumijevaju neposredne učinke na skokove - npr. Brzim promjenama u ekscitabilnosti. Dopamin može imati oba ova postsinaptička učinka (i više), pa ima li zadana koncentracija dopamina određeno značenje? Ili ovo značenje treba konstruirati - npr. Usporedbom razine dopamina kroz vrijeme ili korištenjem drugih slučajnih signala kako bi se utvrdilo koji će se stanični mehanizam uključiti? O ovoj se mogućnosti dalje govori u nastavku.

Prijenosi li dopamin iste informacije kao pucanje dopaminskih stanica?

Povezanost između brzih fluktuacija dopamina i motivacijske vrijednosti čini se čudnom s obzirom na to da pucanje dopaminskih stanica nalikuje RPE. Nadalje, neke studije izvijestile su o RPE signalima u otpuštanju mezolimbičnog dopamina⁴³. Važno je primijetiti izazov u tumačenju nekih oblika neuronskih podataka. Signali vrijednosti i RPE međusobno su u korelaciji - nije iznenađujuće jer se RPE obično definira kao promjena vrijednosti iz jednog trenutka u drugi (RPE s vremenskom razlikom). Zbog ove korelacije presudno je koristiti eksperimentalne dizajne i analize koji razlikuju vrijednost od RPE računa. Problem je složen kada se koristi neuronska mjera koja se oslanja na relativne, a ne na apsolutne promjene signala. Analize voltametrije obično uspoređuju dopamin u određeno vrijeme od interesa s "baznom" epohom ranije u svakom ispitivanju (kako bi se uklonile signalne komponente koje nisu ovisne o dopaminu, uključujući punjenje elektroda na svakom prelazu napona i zanošenje tijekom vremenskog razdoblja od nekoliko minuta). Ali oduzimanjem osnovne linije može signal vrijednosti nalikovati RPE signalu. To smo primijetili u vlastitim podacima o voltametriji (Slika 2e). Promjene u očekivanju nagrade ogledale su se u promjenama koncentracije dopamina na početku svakog ispitivanja, a te promjene su promašene ako se samo pokaže stalna osnovna vrijednost tijekom ispitivanja¹⁵. Zaključke o oslobađanju dopamina i kodiranju RPE stoga treba promatrati s oprezom. Ova opasnost od interpretacije podataka odnosi se ne samo na voltametriju, već i na svaku analizu koja se oslanja na relativne promjene - potencijalno uključuju neke fMRI i fotometriju⁴⁴.

Unatoč tome, još uvijek moramo pomiriti oslobađanje dopamina povezanog s vrijednošću u jezgri NAc s dosljednim odsustvom vrijednosnog ubrizgavanja dopaminskih neurona¹³, čak i unutar bočnog VTA područja koje dopaminu pruža jezgra NAc⁴⁵, Jedan od potencijalnih čimbenika je da se dopaminske stanice obično bilježe kod naslonjenih životinja koje izvode klasične zadatke za kondicioniranje, dok se oslobađanje dopamina obično mjeri u neobuzdanim životinjama koje se aktivno kreću kroz svoje okruženje. Predložili smo da mezolimbički dopamin može posebno značiti vrijednost "rada"¹⁵ - da odražava zahtjev za odvajanjem vremena i truda za dobivanje nagrade. U skladu s tim, dopamin se povećava sa signalima koji upućuju na kretanje, ali ne i sa signalima koji upućuju na mir, čak i kada ukazuju na sličnu buduću nagradu⁴⁶. Ako - kao u mnogim klasičnim zadacima kondicioniranja - nema koristi za aktivni "rad", tada dopaminergične promjene koje ukazuju na vrijednost rada mogu biti manje očite.

Još je važnija činjenica da se oslobađanje dopamina može lokalno kontrolirati na samim terminalima i na taj način pokazati prostorno-vremenske obrasce neovisne o šiljanju stanica tijela. Na primjer, bazolateralna amigdala (BLA) može utjecati na oslobađanje docamina NAc čak i kada je VTA inaktiviran⁴⁷, Suprotno tome, inaktiviranje BLA smanjuje oslobađanje docamina NAc i odgovarajuće motivirano ponašanje, bez vidljivog utjecaja na VTA pucanje⁴⁸, Dopaminski terminali imaju receptore za niz neurotransmitera, uključujući glutamat, opioide i acetilkolin. Nikotinski acetilkolinski receptori omogućavaju strijatalnim kolinergičkim interneuronima (CIN) da brzo kontroliraju otpuštanje dopamina^49,50, Iako je odavno primijećeno da je lokalna kontrola oslobađanja dopamina potencijalno važna^7,51, nije uključeno u računske račune funkcije dopamina. Predlažem da se dinamika oslobađanja dopamina povezana s kodiranjem vrijednosti uglavnom pojavljuje lokalne kontrola, čak i ako pucanje dopaminskih stanica daje važne RPE-signale za učenje.

Kako dopamin može značiti i učenje i motivaciju bez zbrke?

U principu, signal vrijednosti je dovoljan i za prijenos RPE-a, budući da RPE vremenske razlike jednostavno su brze promjene vrijednosti (Slika 2B). Na primjer, različiti unutarćelijski putevi u ciljnim neuronima mogu biti različito osjetljivi na apsolutnu koncentraciju dopamina (predstavlja vrijednost) u odnosu na brze relativne promjene koncentracije (koje predstavljaju RPE). Ova shema djeluje vjerovatno, s obzirom na složenu modulaciju dopamina u fiziologiji špijunskog neurona⁵² i njihova osjetljivost na vremenske obrasce koncentracije kalcija⁵³, Ipak, to se također čini suvišnim. Ako signal sličan RPE-u već postoji u šiljatoj dopaminskoj stanici, trebalo bi ga koristiti, a ne ponovno dobivanje RPE-a iz vrijednosnog signala.

Za odgovarajuće korištenje različitih RPE i vrijednosti signala, sklopovi primatelja dopamina mogu aktivno prebacivati ​​kako tumače dopamin. Postoje intrigantni dokazi da acetilkolin može poslužiti i ovoj prebacivačkoj ulozi. U isto vrijeme dok dopaminske stanice ispaljuju šlice na neočekivane znakove, CIN-ovi pokazuju kratko (~ 150ms) pauze u pucanju koje se ne razmjeravaju s RPE-om⁵⁴, Ove CIN stanke mogu pokrenuti VTA GABAergic neuroni⁵⁵ kao i stanice iznenađenja u intralaminarnom talamusu, te im se predlaže da djeluju kao signal povezivanja koji promiče učenje⁵⁶, Morris i Bergman su predložili⁵⁴ da kolinergičke pauze definiraju vremenske prozore za strijatalnu plastičnost, tijekom kojih se dopamin može upotrijebiti kao signal učenja. Plastičnost ovisna o dopaminu kontinuirano se suzbija mehanizmima koji uključuju muskarinske m4 receptore na strijatalnim neuronima izravnog puta⁵⁷, Modeli unutarćelijske signalizacije sugeriraju da za vrijeme CIN pauza, odsutnost m4 vezanja može djelovati sinergistički s faznim pupovima dopamina kako bi se potaknula aktivacija PKA⁵⁸i na taj način promiče sinaptičke promjene.

Strijatalne kolinergičke stanice su tako dobro postavljene da dinamički prebacuju značenje multipleksirane dopaminergičke poruke. Tijekom CIN-pauze, olakšanje muskarinskog bloka zbog sinaptičke plastičnosti omogućilo bi korištenje dopamina za učenje. U drugim slučajevima, oslobađanje s terminala dopamina lokalno će se stvoriti kako bi utjecalo na trenutne performanse u ponašanju. Trenutno je ovaj prijedlog spekulativan i nepotpun. Predloženo je da CIN-ovi integriraju informacije iz mnogih okolnih špinatnih neurona kako bi izvukli korisne signale na razini mreže kao što je entropija^59,60, Ali uopće nije jasno da se dinamika aktivnosti CIN-a može koristiti za generiranje signala vrijednosti dopamina⁶¹, a također i za usmjeravanje signala učenja dopamina.

Znači li dopamin istu stvar u prednjem mozgu?

Kako se RPE ideja zavladala, zamišljeno je da je dopamin globalni signal, koji prenosi poruku o pogrešci kroz strijatalne i frontalne kortikalne mete. Schultz je naglasio da stanice majmunovih dopamina kroz VTA i SNc imaju vrlo slične reakcije⁶², Studije identificiranih ćelija dopamina također su pronašle prilično homogene odgovore slične RPE kod glodavaca, barem za bočne VTA neurone u klasičnim kondicijskim kontekstima.¹³, Ipak stanice dopamina su molekularno i fiziološki raznolike^63-65 i sada ima mnogo izvještaja da pokazuju raznolike obrasce pucanja u ponašanju životinja. Tu se ubrajaju fazna povećanja pucanja na averzivne događaje⁶⁶ i aktiviraju znakove⁶⁷ koji se loše uklapaju u standardni RPE račun. Mnoge dopaminske stanice pokazuju početni kratkotrajni odgovor na osjetilne događaje koji odražava iznenađenje ili "upozoravanje" više od specifičnog RPE kodiranja^68,69, Ovaj upozoravajući aspekt je istaknutiji u SNc⁶⁹, gdje dopaminske stanice više projiciraju na "senzimotorni" dorzalni / bočni striatum (DLS)^45,63). Prijavljeno je i povećanje subpopulacija SNc stanica dopamina⁴¹ ili smanjiti⁷⁰ pucanje u kombinaciji sa spontanim pokretima, čak i bez vanjskih znakova.

Nekoliko skupina koristilo je fotometriju vlakana i pokazatelj kalcija GCaMP za ispitivanje ukupne aktivnosti subpopulacija dopaminskih neurona^71,72, Stanice dopamina koje djeluju na leđnu / medijalnu striatum (DMS) pokazale su privremeno depresivnu aktivnost do neočekivanih kratkih šokova, dok su one koje su projektirale DLS pokazale povećanu aktivnost⁷¹- dosljedniji odgovoru upozorenja. Izraženi dopaminergični odgovori u različitim podregijama prednjeg mozga također su primijećeni pomoću GCaMP za ispitivanje aktivnosti dopaminskih aksona i terminala^40,72,73, Koristeći dvostruku fotonsku fotografiju u miševima obuzdanim glavom, Howe i Dombeck⁴⁰ prijavili su faznu aktivnost dopamina koja je povezana s spontanim pokretima. To se uglavnom vidjelo u pojedinačnim dopaminskim aksonima iz SNc-a koji su završili dorzalnim striatumom, dok su VTA dopaminski aksoni u NAc-u odgovorili više na isporuku nagrada. Drugi su također pronašli dopaminergičku aktivnost povezanu s nagradom u NAc-u, a umjesto toga DMS je više bila povezana s kontralateralnim djelovanjem⁷² i stražnji rep striatuma koji reagira na aversive i nove podražaje⁷⁴.

Izravne mjere oslobađanja dopamina također otkrivaju heterogenost između podregija^30,75, Pomoću mikrodijalize utvrdili smo da je dopamin povezan s vrijednošću specifično u NAc jezgri i ventralno-medijalnom frontalnom korteksu, a ne u drugim srednjim dijelovima striatuma (NAc ljuske, DMS) ili frontalnog korteksa. To je intrigantno jer se čini da dobro mapira dva "žarišta" vrijednosnog kodiranja dosljedno viđenih u studijama ljudskih fMRI studija^76,77, Osobito NAc BOLD signal, koji ima blisku vezu s dopaminskim signaliziranjem⁷⁸, povećava se s predviđanjem nagrade (vrijednošću) - više nego s RPE-om⁷⁶.

Da li se ovi prostorni obrasci oslobađanja dopamina javljaju zbog ispaljivanja različitih subpopulacija dopaminskih stanica, lokalne kontrole oslobađanja dopamina ili oboje, oni izazivaju ideju globalne dopaminske poruke. Moglo bi se zaključiti da postoji mnogo različitih dopaminskih funkcija, s (na primjer) dopaminom u dorzalnom striatumu, "pokretu" i dopaminom u ventralnoj striatumu koji signalizira "nagradu".⁴⁰, Međutim, preferiram drugi konceptualni pristup. Različite strirealne podregije dobivaju ulazne podatke iz različitih kortikalnih regija i tako će obraditi različite vrste informacija. Ipak, svaka striatalna podregija dijeli zajedničku arhitekturu mikrokroja, uključujući odvojene D1-nasuprot D2-receptorima koji nose kičaste neurone⁷⁹, CIN-ovi i tako dalje. Iako je uobičajeno da se odnosi na različite striatalne podregije (npr. DLS, DMS, NAc jezgra) kao da su diskretna područja, između njih nema oštrih anatomskih granica (NAc ljuska je malo više neurokemijski različita). Umjesto toga, postoje samo blagi gradijenti u gustoći receptora, interneuronski proporcije itd., Koji izgledaju više poput podešavanja parametara zajedničkog računskog algoritma. S obzirom na tu zajedničku arhitekturu, možemo li opisati uobičajenu funkciju dopamina, izdvojenu iz specifičnih informacija kojima upravlja svaka podregija?

Striatal dopamin i dodjela ograničenih resursa.

Predlažem da se različiti dopaminski učinci na ponašanje u tijeku mogu shvatiti kao modulacija odluke o raspodjeli resursa, Naime, dopamin daje procjene koliko je vrijedno trošiti ograničeni unutarnji resurs, pri čemu se određeni resurs razlikuje između striatalnih subregija. Za "motorički" striatum (~ DLS) resurs je kretanje, koje je ograničeno zbog kretanja troškova energije, i zato što su mnoge radnje nespojive jedna s drugom⁸⁰, Povećanje dopamina povećava vjerojatnost da će životinja odlučiti da je vrijedno trošiti energiju za kretanje ili brže kretanje^6,40,81, Imajte na umu da će dopaminski signal koji kodira "pokret vrijedan" proizvesti korelacije između dopamina i pokreta, čak i bez "pomicanja" dopaminskog kodiranja po sebi.

Za "kognitivni" striatum (~ DMS) resursi su kognitivni procesi koji uključuju pažnju (koja je ograničena po definiciji⁸²) i radne memorije⁸³, Bez dopamina, zanemaruju se istaknuti vanjski znakovi koji obično izazivaju orijentacijske pokrete, kao da ih se smatra manje vrijednim pažnje³, Nadalje, namjerno raspoređivanje procesa kognitivne kontrole je naporno (skupo⁸⁴). Dopamin - osobito u DMS-u⁸⁵ - igra ključnu ulogu u odluci isplati li se uložiti ovaj napor^86,87, To može uključivati ​​da li koristiti više kognitivno zahtjevne, deliberativne ("model-based") strategije odlučivanja⁸⁸.

Za “motivacijski” striatum (~ NAc) jedan ključni ograničeni resurs može biti vrijeme životinje. Mezolimbički dopamin nije potreban kada životinje obavljaju jednostavnu, fiksnu akciju da brzo dobiju nagrade⁸⁹, No, mnogi oblici nagrađivanja mogu se dobiti jedino kroz produljeni rad: proširene sekvence nezahvalnih postupaka, kao u traženju hrane. Odabir za rad znači da se moraju izbjeći drugi korisni načini trošenja vremena. Visoki mezolimbički dopamin ukazuje da se uključivanje u vremenski prošireni, naporni rad isplati, ali kako se dopamin spušta, životinje se ne muče i mogu se umjesto toga jednostavno pripremiti za spavanje⁹⁰.

Unutar svakog kruga kortiko-strijatalne petlje dopaminov doprinos tekućem ponašanju je, dakle, i ekonomski (vezan uz raspodjelu resursa) i motivacijski (bilo da je vrijedan truda trošiti resurse⁸¹). Ovi krugovi nisu potpuno neovisni, već imaju hijerarhijsku, spiralnu organizaciju: više ventralnih dijelova striatuma utječe na stanice dopamina koje projiciraju na više dorzalnih dijelova.^5,91. Na taj način odluke o uključivanju u posao mogu također pomoći u okrepljenju potrebnih specifičnih, kraćih pokreta. Ali u cjelini, dopamin pruža "aktivacijske" signale - povećavajući vjerojatnost donošenja neke odluke - umjesto "usmjerenih" signala koji specificiraju kako sredstva treba potrošiti⁵.

Koja je računska uloga dopamina u donošenju odluka?

Jedan od načina razmišljanja o toj aktivacijskoj ulozi je u smislu „pragova“ pri donošenju odluka. U određenim matematičkim modelima procesi odlučivanja rastu sve dok ne dostignu razinu praga, kada sustav postane predan djelovanju⁹², Viši dopamin bio bi ekvivalent niţem udaljenosti od praga, tako da se odluke donose brže. Ova ideja je jednostavna, ali čini kvantitativna predviđanja koja su potvrđena. Spuštanje praga za kretanje uzrokovalo bi specifičnu promjenu u obliku raspodjele reakcijskog vremena, upravo ono što se vidi kada se amfetamin infundira u senzomotorni striatum²⁰.

Umjesto fiksnih pragova, bihevioralni i neuronski podaci mogu se bolje uklopiti ako se pragovi s vremenom smanje, kao da odluke postaju sve hitnije. Predložen je izlaz bazalnih ganglija kako bi se osigurao dinamički evoluirajući signal hitnosti, koji osnažuje mehanizme odabira u korteksu⁹³, Hitnost je također bila veća kada su buduće nagrade bile bliže u vremenu, čineći ovaj koncept sličnim kodiranju vrijednosti, aktivacijskoj ulozi dopamina.

Je li takva aktivacijska uloga dovoljna da opiše učinke modulacije dopamina dopunjene strijatalom? To je povezano s dugogodišnjim pitanjem da li bazalni krugovi ganglija izravno biraju između naučenih akcija⁸⁰ ili samo osnažiti izbore napravljene drugdje^93,94, Postoje barem dva načina na koji dopamin može izgledati više "usmjereno". Prvi je kada dopamin djeluje unutar moždane podregije koja obrađuje inherentno usmjerene informacije. Krugovi bazalnih ganglija imaju važnu, djelomično lateraliziranu ulogu usmjeravanja prema i približavanju potencijalnim nagradama. Repa primata (~ DMS) uključena je u pokretanje pokreta očiju prema kontralateralnim prostornim poljima⁹⁵, Dopaminergički signal da je nešto u kontralateralnom prostoru vrijedno usmjeriti prema može objasniti uočenu korelaciju između dopaminergičke aktivnosti u DMS-u i kontralateralnih pokreta.⁷²kao i rotacijsko ponašanje koje se dobiva dopaminskim manipulacijama⁹⁶, Drugi "usmjereni" utjecaj dopamina je očigledan kada (bilateralne) lezije dopamina odstupaju od štakora prema izboru s niskim naporom / niskim nagradama, a ne s alternativama visokog napora / visoke plaće.⁹⁷, To može odražavati činjenicu da su neke odluke više serijske nego paralelne, s štakorima (i ljudima) koji procjenjuju opcije jedan po jedan⁹⁸, U tim kontekstima odlučivanja dopamin može i dalje plaćati fundamentalno aktivacijsku ulogu prenoseći vrijednost trenutno razmatrane opcije, koja se tada može prihvatiti ili ne²⁴.

Aktivne životinje donose odluke na više razina, često uz visoke stope. Osim razmišljanja o pojedinačnim odlukama, može biti korisno razmotriti ukupnu putanju kroz niz država (Slika 1). Olakšavanjem prijelaza iz jednog stanja u drugo, dopamin može ubrzati protok kroz naučene putanje⁹⁹, To se može odnositi na važan utjecaj dopamina na vrijeme ponašanja^44,100, Jedna od ključnih granica za budući rad je dobivanje dubljeg razumijevanja o tome kako se takvi učinci dopamina na ponašanje u tijeku pojavljuju mehanički, promjenom obrade informacija unutar pojedinačnih stanica, mikro-krugova i krugova velikih kortikalno-bazalnih ganglija. Također, naglašavam uobičajene računske uloge dopamina u nizu striatalnih ciljeva, ali uglavnom zanemarene kortikalne ciljeve, i ostaje da se vidi mogu li se funkcije dopamina u obje strukture opisati unutar istog okvira.

U sažetku, adekvatan opis dopamina objasnio bi kako dopamin može signalizirati i učenje i motivaciju na istim brzim vremenskim skalama, bez zabune. To bi objasnilo zašto oslobađanje dopamina u ključnim ciljevima pokriva očekivanja, iako otpuštanje dopaminskih stanica nije. I to bi pružilo jedinstven račun računalnih aktivnosti dopamina u striatumu i drugdje, što objašnjava različite učinke ponašanja na kretanje, spoznaju i vrijeme. Neke specifične ideje ovdje prikazane su spekulativne, ali su namijenjene za oživljavanje obnovljenih rasprava, modeliranja i novih eksperimenata.

Priznanja.

Reference: