Dopamine in motivationele controle: beloning, aversie en alarmering (2010)

Zie andere artikelen in PMC dat citeren het gepubliceerde artikel.

Midborn-dopamine-neuronen staan ​​bekend om hun sterke respons op beloningen en hun cruciale rol in positieve motivatie. Het is echter steeds duidelijker geworden dat dopamine-neuronen ook signalen uitzenden die verband houden met opvallende, maar niet-lonende ervaringen zoals aversieve en waarschuwende gebeurtenissen. Hier bespreken we recente ontwikkelingen in het begrijpen van de belonings- en niet-beloningsfuncties van dopamine. Op basis van deze gegevens stellen we voor dat dopamine-neuronen in meerdere typen voorkomen die zijn verbonden met verschillende hersennetwerken en een verschillende rol spelen bij de motivatiecontrole. Sommige dopamine-neuronen coderen voor motivationele waarde en ondersteunen hersennetwerken voor zoeken, evalueren en leren van waarde. Anderen coderen voor motiverende opvallendheid en ondersteunen hersennetwerken voor oriëntatie, cognitie en algemene motivatie. Beide typen dopamine-neuronen worden versterkt door een waarschuwingssignaal dat betrokken is bij snelle detectie van potentieel belangrijke sensorische signalen. We veronderstellen dat deze dopaminerge routes voor waarde, opvallendheid en alarmering samenwerken om adaptief gedrag te ondersteunen.

Dopamine als motivatie voor acties die op beloning lijken

Van dopamine is al lang bekend dat het belangrijk is voor het versterken en motiveren van acties. Geneesmiddelen die DA-overdracht verstoren interfereren met leerversterking, terwijl manipulaties die de DA-overdracht verbeteren, zoals hersenstimulatie en verslavende geneesmiddelen, vaak als versterkende elementen fungeren (Wise, 2004). DA-transmissie is cruciaal voor het creëren van een staat van motivatie om naar beloningen te streven (Berridge en Robinson, 1998; Salamone et al., 2007) en voor het vaststellen van herinneringen aan cue-reward-associaties (Dalley et al., 2005). DA-vrijgeving is niet nodig voor alle vormen van beloningsleren en is niet altijd 'geliefd' in de zin van plezier veroorzaken, maar het is van cruciaal belang dat doelen worden 'gewild' in de zin van motiverende acties om deze te bereiken (Berridge en Robinson, 1998; Palmiter, 2008).

Een hypothese over hoe dopamine versterkend leren ondersteunt, is dat het de sterkte van synaptische verbindingen tussen neuronen aanpast. De meest eenvoudige versie van deze hypothese is dat dopamine de synaptische plasticiteit bestuurt volgens een gemodificeerde Hebbian regel die ruwweg kan worden omschreven als "neuronen die samen draad afgeven, mits ze een uitbarsting van dopamine krijgen". Met andere woorden, als cel A cel B activeert en cel B een gedragsactie veroorzaakt die resulteert in een beloning, dan zal dopamine worden vrijgegeven en de A → B-verbinding worden versterkt (Montague et al., 1996; Schultz, 1998). Dit mechanisme zou een organisme in staat stellen om de optimale keuze van acties te leren om beloningen te behalen, gezien voldoende trial-and-error ervaring. In overeenstemming met deze hypothese heeft dopamine een krachtige invloed op synaptische plasticiteit in talrijke hersenregio's (Surmeier et al., 2010; Goto et al., 2010; Molina-Luna et al., 2009; Marowsky et al., 2005; Lisman en Grace, 2005). In sommige gevallen maakt dopamine synaptische plasticiteit mogelijk in de zin van de Hebbiaanse regel die hierboven is beschreven, op een manier die correleert met gedrag dat op beloning lijkt (Reynolds et al., 2001). Naast de effecten op de lange termijn synaptische plasticiteit, kan dopamine ook directe controle uitoefenen over neurale circuits door neurale stimulatie-activiteit en synaptische verbindingen tussen neuronen te moduleren (Surmeier et al., 2007; Robbins en Arnsten, 2009), in sommige gevallen op een manier die onmiddellijke, op beloning gerichte acties bevordert (Frank, 2005).

Dopamine neuron beloningssignalen

Om acties die tot beloningen leiden te motiveren, moet dopamine worden vrijgegeven tijdens het belonen van ervaringen. De meeste DA-neuronen worden inderdaad sterk geactiveerd door onverwachte primaire beloningen, zoals voedsel en water, en produceren vaak fasische 'uitbarstingen' van activiteit (Schultz, 1998) (fasische excitaties inclusief meerdere pieken (Grace en Bunney, 1983)). Uit de baanbrekende studies van Wolfram Schultz bleek echter dat deze DA-neuronresponsen niet worden veroorzaakt door beloningsconsumptie werkt. In plaats daarvan lijken ze op een 'beloningsvoorspellingsfout', waarbij het verschil wordt vermeld tussen de beloning die is ontvangen en de beloning die is voorspeld (Schultz et al., 1997) (Figuur 1A). Dus als een beloning groter is dan voorspeld, zijn DA-neuronen sterk opgewonden (positieve voorspellingsfout, Figuur 1E, rood); als een beloning kleiner is dan voorspeld of niet gebeurt op het afgesproken tijdstip, worden DA-neuronen gefixeerd (negatieve voorspellingsfout, Figuur 1E, blauw); en als een beloning vooraf wordt gecedeerd zodat de grootte ervan volledig voorspelbaar is, hebben DA-neuronen weinig of geen respons (nulvoorspellingsfout, Figuur 1Czwart). Hetzelfde principe geldt voor DA-antwoorden op sensorische signalen die nieuwe informatie over toekomstige beloningen verschaffen. DA neuronen worden geëxciteerd wanneer een cue een toename in toekomstige beloningswaarde aangeeft (Figuur 1C, rood), geremd wanneer een cue een afname in toekomstige beloningswaarde aangeeft (Figuur 1C, blauw), en hebben over het algemeen weinig respons op signalen die geen nieuwe beloningsinformatie bevatten (Figuur 1Ezwart). Deze DA-antwoorden lijken op een specifiek type beloningsvoorspellingsfout, de tijdelijke verschilfout of "TD-fout", waarvan is voorgesteld dat deze fungeert als een versterkingssignaal voor het leren van de waarde van acties en omgevingsfactoren (Houk et al., 1995; Montague et al., 1996; Schultz et al., 1997). Computatiemodellen die een TD-achtig versterkingssignaal gebruiken, kunnen veel aspecten van wapeningsleren in mensen, dieren en DA-neuronen zelf verklaren (Sutton en Barto, 1981; Waelti et al., 2001; Montague en Berns, 2002; Dayan en Niv, 2008).

 

Figuur 1

Dopamine codering van beloningsvoorspellingsfouten en voorkeur voor voorspellende informatie

Een indrukwekkende reeks experimenten heeft aangetoond dat DA-signalen beloningsvoorspellingen vertegenwoordigen op een manier die nauw aansluit bij gedragsvoorkeuren, waaronder de voorkeur voor grote beloningen voor kleine (Tobler et al., 2005) waarschijnlijke voordelen boven onwaarschijnlijke (Fiorillo et al., 2003; Satoh et al., 2003; Morris et al., 2004) en onmiddellijke beloningen over vertraagde (Roesch et al., 2007; Fiorillo et al., 2008; Kobayashi en Schultz, 2008). Er is zelfs bewijs dat DA-neuronen bij mensen de beloningswaarde van geld coderen (Zaghloul et al., 2009). Bovendien duiken DA-signalen op tijdens het leren met een vergelijkbare tijdsbesteding tot gedragsmatige metingen van beloningsvoorspelling (Hollerman en Schultz, 1998; Satoh et al., 2003; Takikawa et al., 2004; Day et al., 2007) en zijn gecorreleerd aan subjectieve maatstaven van beloningsvoorkeur (Morris et al., 2006). Deze bevindingen hebben DA-neuronen als een van de best begrepen en meest gerepliceerde voorbeelden van beloningcodering in de hersenen gevestigd. Dientengevolge hebben recente onderzoeken DA-neuronen onderworpen aan intens onderzoek om te ontdekken hoe ze beloningsvoorspellingen genereren en hoe hun signalen werken op stroomafwaartse structuren om gedrag te beheersen.

Dopamine neuron beloningssignalen

Recente ontwikkelingen in het begrijpen van DA-beloningssignalen zijn afkomstig van het beschouwen van drie brede vragen: Hoe leren DA-neuronen beloningsvoorspellingen? Hoe nauwkeurig zijn hun voorspellingen? En wat behandelen ze als lonend?

Hoe leren DA-neuronen beloningsvoorspellingen? Klassieke theorieën suggereren dat beloningsvoorspellingen worden geleerd door een geleidelijk versterkingsproces dat herhaalde stimulus-beloning-paren vereist (Rescorla en Wagner, 1972; Montague et al., 1996). Telkens wanneer stimulus A wordt gevolgd door een onverwachte beloning, wordt de geschatte waarde van A verhoogd. Recente gegevens laten echter zien dat DA neuronen verder gaan dan eenvoudige stimulus-beloning-leren en voorspellingen doen op basis van verfijnde overtuigingen over de structuur van de wereld. DA-neuronen kunnen beloningen correct voorspellen, zelfs in onconventionele omgevingen waar beloningen die gepaard gaan met een stimulus een oorzaak zijn verlagen in de waarde van die stimulus (Satoh et al., 2003; Nakahara et al., 2004; Bromberg-Martin et al., 2010c) of een verandering in de waarde van een geheel andere stimulus veroorzaken (Bromberg-Martin et al., 2010b). DA-neuronen kunnen hun beloningssignalen ook aanpassen op basis van hogere-ordestatistieken van de beloningsverdeling, zoals schaalvoorspellingsfoutsignalen op basis van hun verwachte variantie (Tobler et al., 2005) en 'spontaan herstel' van hun antwoorden op gedoofde beloningselementen (Pan et al., 2008). Al deze verschijnselen vormen een opmerkelijke parallel met vergelijkbare effecten die worden waargenomen bij sensorische en motorische aanpassingen (Braun et al., 2010; Fairhall et al., 2001; Shadmehr et al., 2010), wat suggereert dat ze mogelijk een algemeen neuraal mechanisme voor voorspellend leren weerspiegelen.

Hoe nauwkeurig zijn DA-beloningsvoorspellingen? Recente studies hebben aangetoond dat DA-neuronen hun beloningssignalen getrouw aanpassen om rekening te houden met drie bronnen van voorspellingsonzekerheid. Ten eerste hebben mensen en dieren last van interne timingruis die voorkomt dat ze betrouwbare voorspellingen doen over lange cue-reward tijdsintervallen (Gallistel en Gibbon, 2000). Als de vertragingen van de cue-beloning kort zijn (1-2 seconden), zijn de timingvoorspellingen nauwkeurig en levert de beloning weinig DA-respons op, maar voor langere vertragingen in de cue-beloning worden timingvoorspellingen minder betrouwbaar en ontvangen beloningen duidelijke DA-bursts (Kobayashi en Schultz, 2008; Fiorillo et al., 2008). Ten tweede zijn veel aanwijzingen in het dagelijks leven onnauwkeurig, wat een brede verdeling van beloningslevertijden aangeeft. DA-neuronen weerspiegelen opnieuw deze vorm van timingonzekerheid: ze worden progressief geremd tijdens variabele beloningsvertragingen, alsof ze steeds meer negatieve beloningsvoorspellingsfouten signaleren op elk moment dat de beloning niet verschijnt (Fiorillo et al., 2008; Bromberg-Martin et al., 2010a; Nomoto et al., 2010). Ten slotte zijn veel signalen perceptueel complex, wat gedetailleerde inspectie vereist om tot een definitieve conclusie te komen over hun beloningswaarde. In dergelijke situaties vinden DA-belonsignalen plaats met lange latencies en op een geleidelijke manier, en lijken ze de geleidelijke stroom van perceptuele informatie te weerspiegelen wanneer de stimuluswaarde wordt gedecodeerd (Nomoto et al., 2010).

Welke gebeurtenissen behandelen DA-neuronen als lonend? Conventionele theorieën over het leren van beloningen suggereren dat DA-neuronen waarde toekennen op basis van de verwachte hoeveelheid toekomstige primaire beloning (Montague et al., 1996). Maar zelfs wanneer het tarief van de primaire beloning constant wordt gehouden, drukken mensen en dieren vaak een extra voorkeur uit voor voorspelbaarheidszoekende omgevingen waarin de grootte, waarschijnlijkheid en timing van elke beloning vooraf bekend kunnen zijn (Daly, 1992; Chew en Ho, 1994; Ahlbrecht en Weber, 1996). Een recent onderzoek bij apen wees uit dat DA-neuronen deze voorkeur aangeven (Bromberg-Martin en Hikosaka, 2009). Apen gaven de sterke voorkeur aan om informatieve visuele aanwijzingen te bekijken die hen in staat zouden stellen om de omvang van een toekomstige beloning te voorspellen, in plaats van niet-informatieve aanwijzingen die geen nieuwe informatie verschaften. Parallel daaraan werden DA-neuronen opgewonden door de mogelijkheid om de informatieve aanwijzingen te bekijken op een manier die verband hield met de gedragsvoorkeur van het dier (Figuur 1B, D). Dit suggereert dat DA-neuronen niet alleen acties motiveren om beloningen te behalen, maar ook acties motiveren om nauwkeurige voorspellingen te doen over die beloningen, om ervoor te zorgen dat beloningen op voorhand kunnen worden geanticipeerd en voorbereid.

Samengevat tonen deze bevindingen aan dat DA-beloning voorspellingsfoutsignalen gevoelig zijn voor geavanceerde factoren die menselijke en dierlijke beloningsvoorspellingen voorspellen, waaronder aanpassing aan hoge-orde beloningsstatistieken, beloningsonzekerheid en voorkeuren voor voorspellende informatie.

Effecten van fasische dopamine-beloningssignalen op stroomafwaartse structuren

DA-beloningsreacties komen voor in synchrone fasische bursts (Joshua et al., 2009b), een responspatroon dat DA-afgifte in doelstructuren vormt (Gonon, 1988; Zhang et al., 2009.; Tsai et al., 2009). Het is al lang getheoretiseerd dat deze fasische uitbarstingen het leren en de motivatie op een andere manier beïnvloeden dan de tonische DA-activiteit (Grace, 1991; Grace et al., 2007; Schultz, 2007; Lapish et al., 2007). Recent ontwikkelde technologie heeft het mogelijk gemaakt om deze hypothese te bevestigen door DA neuronactiviteit te controleren met fijne ruimtelijke en temporele precisie. Optogenetische stimulatie van VTA DA-neuronen induceert een sterk geconditioneerde plaatsvoorkeur die alleen optreedt wanneer stimulatie wordt toegepast in een burstpatroon (Tsai et al., 2009). Omgekeerd veroorzaakt genetische knock-out van NMDA-receptoren van DA-neuronen, die barsten onderdrukken terwijl de tonische activiteit grotendeels intact blijft, een selectieve verslechtering van specifieke vormen van beloningsleren (Zweifel et al., 2009; Parker et al., 2010) (hoewel er rekening mee wordt gehouden dat deze knock-out ook de synaptische plasticiteit van DA-neuronen nadelig beïnvloedt (Zweifel et al., 2008)). DA-bursts kunnen het belonen van beloning verbeteren door lokale neurale circuits opnieuw te configureren. Met name worden beloningsvoorspellende DA-bursts verzonden naar specifieke regio's van de nucleus accumbens, en deze regio's hebben bijzonder hoge niveaus van beloningsvoorspellende neurale activiteit (Cheer et al., 2007; Owesson-White et al., 2009).

In vergelijking met fasische bursts is minder bekend over het belang van fasische pauzes in spikingactiviteit voor negatieve beloningsvoorspellingsfouten. Deze pauzes veroorzaken kleinere veranderingen in de spike-snelheid, worden minder gemoduleerd door de beloningsverwachting (Bayer en Glimcher, 2005; Joshua et al., 2009a; Nomoto et al., 2010), en kunnen kleinere effecten hebben op het leren (Rutledge et al., 2009). Bepaalde typen negatieve voorspellingsfouten zijn echter vereist voor de VTA (Takahashi et al., 2009), wat suggereert dat fasische pauzes nog steeds kunnen worden gedecodeerd door stroomafwaartse structuren.

Omdat bursts en pauzes zeer verschillende patronen van DA-afgifte veroorzaken, beïnvloeden ze waarschijnlijk stroomafwaartse structuren via verschillende mechanismen. Er is recent bewijs voor deze hypothese gevonden in een belangrijk doelwit van DA-neuronen, het dorsale striatum. Dorsale striatum-projectie-neuronen zijn er in twee soorten die verschillende DA-receptoren tot expressie brengen. Eén type drukt D1-receptoren uit en projecteert de basale ganglia 'directe route' om lichaamsbewegingen te vergemakkelijken; het tweede type drukt D2-receptoren uit en projecteert de 'indirecte route' om lichaamsbewegingen te onderdrukken (Figuur 2) (Albin et al., 1989; Gerfen et al., 1990; Kravitz et al., 2010; Hikida et al., 2010). Op basis van de eigenschappen van deze routes en receptoren, is er een theorie dat DA-bursts omstandigheden van hoge DA produceren, D1-receptoren activeren en de directe route in staat stellen hoogwaardige bewegingen te selecteren (Figuur 2A), terwijl DA productie-omstandigheden van lage DA onderbreekt, D2-receptoren remt en de indirecte route lage waardebewegingen onderdrukt (Figuur 2B) (Frank, 2005; Hikosaka, 2007). Consistent met deze hypothese bevordert hoge DA-receptoractivering de versterking van cortico-striatale synapsen op de directe route (Shen et al., 2008) en leren van positieve resultaten (Frank et al., 2004; Voon et al., 2010), terwijl striatale D1-receptorblokkade selectief bewegingen naar beloonde doelwitten belemmert (Nakamura en Hikosaka, 2006). Op een analoge manier bevordert lage DA-receptoractivering de versterking van cortico-striatale synapsen op de indirecte route (Shen et al., 2008) en leren van negatieve uitkomsten (Frank et al., 2004; Voon et al., 2010), terwijl striatale D2-receptorblokkade bewegingen naar niet-beloonde doelen selectief onderdrukt (Nakamura en Hikosaka, 2006). Deze verdeling van D1- en D2-receptorfuncties in motivatiecontrole verklaart veel van de effecten van DA-gerelateerde genen op menselijk gedrag (Ullsperger, 2010; Frank en Fossella, 2010) en kan verder reiken dan het dorsale striatum, omdat er bewijs is voor een vergelijkbare arbeidsverdeling in het ventrale striatum (Grace et al., 2007; Lobo et al., 2010).

 

Figuur 2

Dopamine controle van positieve en negatieve motivatie in het dorsale striatum

Hoewel het bovenstaande schema een eenvoudig beeld schetst van fasische DA-controle van gedrag door zijn effecten op het striatum, is het volledige beeld veel complexer. DA beïnvloedt beloningsgerelateerd gedrag door in te werken op veel hersengebieden waaronder de prefrontale cortex (Hitchcott et al., 2007), rhinale cortex (Liu et al., 2004), zeepaardje (Packard en White, 1991; Grecksch en Matties, 1981) en amygdala (Phillips et al., 2010). De effecten van DA zijn waarschijnlijk sterk verschillend tussen deze regio's als gevolg van variaties in de dichtheid van DA-innervatie, DA-transporters, metabole enzymen, autoreceptoren, receptoren en receptor-koppeling aan intracellulaire signaalroutes (Neve et al., 2004; Bentivoglio en Morelli, 2005; Frank en Fossella, 2010). Bovendien kunnen DA-neuronen, althans in de VTA, verschillende cellulaire eigenschappen hebben, afhankelijk van hun projectiedoelen (Lammel et al., 2008; Margolis et al., 2008), en sommige hebben het opmerkelijke vermogen om zowel glutamaat als dopamine (Descarries et al., 2008; Chuhma et al., 2009; Hnasko et al., 2010; Tecuapetla et al., 2010; Stuber et al., 2010; Birgner et al., 2010). Dus de volledige omvang van DA-neuroncontrole over neurale verwerking begint nu pas te worden onthuld.

Diverse dopamine-reacties op aversieve gebeurtenissen

De reactie van een neuron op aversieve gebeurtenissen biedt een cruciale test van zijn functies bij motivatiecontrole (Schultz, 1998; Berridge en Robinson, 1998; Redgrave et al., 1999; Horvitz, 2000; Joseph et al., 2003). In veel opzichten behandelen we belonende en aversieve gebeurtenissen op tegengestelde manieren, als weerspiegeling van hun tegendeel motivationele waarde. We zoeken naar beloningen en wijzen hen een positieve waarde toe, terwijl we aversieve gebeurtenissen vermijden en ze een negatieve waarde toekennen. In andere opzichten behandelen we belonende en aversieve gebeurtenissen op vergelijkbare manieren, wat hun gelijkenis weerspiegelt motiverende opvallendheid [FOOTNOTE1]. Zowel belonende als aversieve gebeurtenissen triggeren oriëntatie van aandacht, cognitieve verwerking en toename van algemene motivatie.

Welke van deze functies ondersteunen DA-neuronen? Het is al lang bekend dat stressvolle en aversieve ervaringen grote veranderingen in DA-concentraties in stroomafwaartse hersenstructuren veroorzaken, en dat gedragsreacties op deze ervaringen dramatisch worden veranderd door DA-agonisten, antagonisten en laesies (Salamone, 1994; Di Chiara, 2002; Pezze en Feldon, 2004; Young et al., 2005). Deze studies hebben echter een opvallende diversiteit aan resultaten opgeleverd (Levita et al., 2002; Di Chiara, 2002; Young et al., 2005). Veel studies komen overeen met DA-neuronen die coderen voor motivationele saillantie. Ze rapporteren dat aversieve gebeurtenissen DA-niveaus verhogen en dat gedragsaversie wordt ondersteund door hoge niveaus van DA-transmissie (Salamone, 1994; Joseph et al., 2003; Ventura et al., 2007; Barr et al., 2009; Fadok et al., 2009) inclusief fasische DA-bursts (Zweifel et al., 2009). Maar andere studies komen meer overeen met DA-neuronen die de motivatiewaarde coderen. Ze rapporteren dat aversieve gebeurtenissen DA-niveaus verlagen en dat gedragsaversie wordt ondersteund door lage niveaus van DA-transmissie (Mark et al., 1991; Shippenberg et al., 1991; Liu et al., 2008; Roitman et al., 2008). In veel gevallen zijn deze gemengde resultaten gevonden in afzonderlijke onderzoeken, wat erop wijst dat aversieve ervaringen verschillende patronen van DA-afgifte in verschillende hersenstructuren veroorzaken (Thierry et al., 1976; Besson en Louilot, 1995; Ventura et al., 2001; Jeanblanc et al., 2002; Bassareo et al., 2002; Pascucci et al., 2007) en dat DA-gerelateerde geneesmiddelen een combinatie van neurale en gedragseffecten kunnen produceren die vergelijkbaar zijn met die veroorzaakt door zowel belonende als aversieve ervaringen (Ettenberg, 2004; Wheeler et al., 2008).

Deze diversiteit aan DA-releasepatronen en -functies is moeilijk te rijmen met het idee dat DA-neuronen een uniform motivatiesignaal naar alle hersenstructuren verzenden. Deze verschillende reacties kunnen echter worden verklaard als DA-neuronen zelf divers zijn - samengesteld uit meerdere neurale populaties die verschillende aspecten van aversieve verwerking ondersteunen. Dit beeld wordt ondersteund door neurologische registratiestudies bij dieren onder anesthesie. Deze studies hebben aangetoond dat schadelijke prikkels opwinding bij sommige DA-neuronen opwekken, maar remming bij andere DA-neuronen (Chiodo et al., 1980; Maeda en Mogenson, 1982; Schultz en Romo, 1987; Mantz et al., 1989; Gao et al., 1990; Coizet et al., 2006). Het is belangrijk dat zowel exciterende als remmende reacties voorkomen in neuronen waarvan bevestigd is dat ze dopaminerge zijn met juxtacellulaire labeling (Brischoux et al., 2009) (Figuur 3). Een vergelijkbare diversiteit aan aversieve reacties treedt op tijdens actief gedrag. Verschillende groepen DA-neuronen worden op fasische wijze opgewekt of geremd door aversieve gebeurtenissen, waaronder schadelijke stimulering van de huid (Kiyatkin, 1988a; Kiyatkin, 1988b), sensorische signalen die aversieve schokken voorspellen (Guarraci en Kapp, 1999), aversieve airpuffs (Matsumoto en Hikosaka, 2009b), en sensorische signalen die aversieve airpuffs voorspellen (Matsumoto en Hikosaka, 2009b; Joshua et al., 2009a). Bovendien, wanneer twee DA-neuronen tegelijkertijd worden geregistreerd, hebben hun aversieve reacties over het algemeen weinig trial-to-trial correlatie met elkaar (Joshua et al., 2009b), wat suggereert dat aversieve reacties niet over de hele DA-populatie worden gecoördineerd.

 

Figuur 3

Diverse dopamine neuronreacties op aversieve gebeurtenissen

Om de functies van deze verschillende aversieve reacties te begrijpen, moeten we weten hoe deze worden gecombineerd met beloningsreacties om een ​​zinvol motiverend signaal te genereren. Een recent onderzoek onderzocht dit onderwerp en onthulde dat DA-neuronen verdeeld zijn in meerdere populaties met verschillende motivatiesignalen (Matsumoto en Hikosaka, 2009b). Eén populatie is enthousiast door evenementen te belonen en wordt geremd door aversieve gebeurtenissen, alsof het coderen is motivationele waarde (Figuur 4A). Een tweede populatie is opgewonden door zowel belonende als aversieve gebeurtenissen op vergelijkbare manieren, alsof het coderen is motiverende opvallendheid (Figuur 4B). In beide populaties zijn veel neuronen gevoelig voor beloning en aversieve voorspellingen: ze reageren wanneer beloning van gebeurtenissen meer lonend is dan voorspeld en wanneer aversieve gebeurtenissen aversiever zijn dan voorspeld (Matsumoto en Hikosaka, 2009b). Dit toont aan dat hun aversieve reacties echt worden veroorzaakt door voorspellingen over aversieve gebeurtenissen, waarbij de mogelijkheid wordt uitgesloten dat ze kunnen worden veroorzaakt door niet-specifieke factoren zoals onbewerkte sensorische input of gegeneraliseerde associaties met beloning (Schultz, 2010). Deze twee populaties verschillen echter in de gedetailleerde aard van hun voorspellende code. Motiverende waardecodering DA-neuronen coderen voor een nauwkeurig voorspellingsfoutsignaal, waaronder sterke remming door weglating van beloningen en lichte excitatie door weglating van aversieve gebeurtenissen (Figuur 4A, rechts). Daarentegen reageren motivationele saillantie coderende DA neuronen wanneer opvallende gebeurtenissen aanwezig zijn, maar niet wanneer ze afwezig zijn (Figuur 4B, rechts), consistent met theoretische noties van opwinding (Lang en Davis, 2006) [FOOTNOTE2]. Bewijs voor deze twee DA-neuronpopulaties is waargenomen, zelfs wanneer de neurale activiteit op een gemiddelde manier is onderzocht. Studies die zich richten op verschillende delen van het DA-systeem vonden dus fasische DA-signalen die coderen voor aversieve gebeurtenissen met remming (Roitman et al., 2008), vergelijkbaar met codering van motivationele waarde, of met excitatie (Joshua et al., 2008; Anstrom et al., 2009), vergelijkbaar met codering van motiverende opvallendheid.

 

Figuur 4

Verschillende dopamine-neuronenpopulaties die coderen voor motivationele waarde en opvallendheid

Deze recente bevindingen lijken misschien in tegenspraak te zijn met een vroege melding dat DA-neuronen bij voorkeur reageren op cues in plaats van op aversieve aanwijzingen (Mirenowicz en Schultz, 1996). Bij nauwkeurig onderzoek is zelfs die studie echter volledig in overeenstemming met de DA-waarde en saillantiecodering. In die studie leidden beloningssignalen tot beloningsresultaten met een hoge waarschijnlijkheid (> 90%), terwijl aversieve signalen leidden tot aversieve uitkomsten met een lage waarschijnlijkheid (<10%). Vandaar dat waarde- en saillantie-coderende DA-neuronen weinig reageren op de aversieve signalen, die nauwkeurig hun lage niveau van aversiviteit coderen.

Functionele rol van motivationele waarden en opvallende signalen

Tezamen genomen duiden de bovenstaande bevindingen erop dat DA-neuronen verdeeld zijn in meerdere populaties die geschikt zijn voor verschillende rollen in motivatiecontrole. Motiverende waardecodering DA-neuronen passen goed bij de huidige theorieën over dopamine-neuronen en beloningsverwerking (Schultz et al., 1997; Berridge en Robinson, 1998; Wise, 2004). Deze neuronen coderen voor een volledig voorspellingsfoutsignaal en coderen belonende en aversieve gebeurtenissen in tegengestelde richtingen. Aldus verschaffen deze neuronen een geschikt instructief signaal voor het zoeken, evalueren en leren van waarde (Figuur 5). Als een stimulus ervoor zorgt dat DA-neuronen met waardecodering worden geëxciteerd, moeten we het benaderen, het hoge waarde toekennen en acties leren om het in de toekomst opnieuw te proberen. Als een stimulus ervoor zorgt dat DA-neuronen die coderen voor waardecodering worden geremd, moeten we dit vermijden, lage waarden toewijzen en acties leren om dit in de toekomst opnieuw te voorkomen.

 

Figuur 5

Getypothetische functies van motivationele waarde, opvallendheid en waarschuwingssignalen

Daarentegen passen motiverende saillantie coderende DA neuronen goed met theorieën van dopamine neuronen en verwerking van opvallende gebeurtenissen (Redgrave et al., 1999; Horvitz, 2000; Joseph et al., 2003; Kapur, 2003). Deze neuronen worden opgewonden door zowel belonende als aversieve gebeurtenissen en hebben zwakkere reacties op neutrale gebeurtenissen, wat een geschikt instructief signaal voor neurale circuits oplevert om situaties van groot belang te leren herkennen, voorspellen en erop te reageren. Hier zullen we drie van dergelijke hersensystemen overwegen (Figuur 5). Ten eerste worden neurale circuits voor visuele en aandachtsoriëntering gekalibreerd om informatie over alle soorten gebeurtenissen te ontdekken, zowel belonend als aversief. Zowel beloning als aversieve signalen trekken bijvoorbeeld oriënterende reacties effectiever aan dan neutrale signalen (Lang en Davis, 2006; Matsumoto en Hikosaka, 2009b; Austin en Duka, 2010). Ten tweede gebruiken zowel belonende als aversieve situaties neurale systemen voor cognitieve controle en actieselectie - we moeten werkgeheugen gebruiken om informatie in gedachten te houden, conflictoplossing om te beslissen over een te ondernemen actie en langetermijngeheugen om het resulterende resultaat te onthouden (Bradley et al., 1992; Botvinick et al., 2001; Savine et al., 2010). Ten derde vereisen zowel belonende als aversieve situaties een toename van de algemene motivatie om acties te activeren en ervoor te zorgen dat ze correct worden uitgevoerd. DA-neuronen zijn inderdaad van cruciaal belang bij het motiveren van inspanningen om hoogwaardige doelen te bereiken en bij het vertalen van kennis van taakvereisten in betrouwbare motorprestaties (Berridge en Robinson, 1998; Mazzoni et al., 2007; Niv et al., 2007; Salamone et al., 2007).

Dopamine-excitatie door sensorische aanwijzingen te signaleren

Naast hun signalen die coderen voor motivationele waarde en opvallendheid, heeft de meerderheid van de DA-neuronen ook burst-responsen op verschillende soorten sensorische gebeurtenissen die niet direct verband houden met belonende of aversieve ervaringen. Deze theorieën zijn theoretisch afhankelijk van een aantal neurale en psychologische factoren, waaronder directe sensorische input, verrassing, nieuwigheid, opwinding, aandacht, opvallendheid, generalisatie en pseudo-conditionering (Schultz, 1998; Redgrave et al., 1999; Horvitz, 2000; Lisman en Grace, 2005; Redgrave en Gurney, 2006; Joshua et al., 2009a; Schultz, 2010).

Hier zullen we proberen om deze ideeën te synthetiseren en deze DA-responsen te verantwoorden in termen van een enkel onderliggend signaal, een waarschuwingssignaal (Figuur 5). De term 'waarschuwing' werd gebruikt door Schultz (Schultz, 1998) als een algemene term voor evenementen die de aandacht trekken. Hier zullen we het in een meer specifieke betekenis gebruiken. Met een waarschuwingsgebeurtenis bedoelen we een onverwacht sensorisch signaal dat de aandacht opvangt op basis van een snelle beoordeling van het potentiële belang ervan, met behulp van eenvoudige functies zoals de locatie, grootte en sensorische modaliteit. Dergelijke alarmerende gebeurtenissen veroorzaken vaak directe gedragsreacties om deze te onderzoeken en hun precieze betekenis te bepalen. DA-waarschuwingssignalen treden dus meestal op bij korte latenties, zijn gebaseerd op de ruwe kenmerken van een stimulus en kunnen het beste worden gecorreleerd met onmiddellijke reacties zoals oriëntatiereacties (Schultz en Romo, 1990; Joshua et al., 2009a; Schultz, 2010). Dit staat in contrast met andere motivatiesignalen in DA-neuronen die meestal optreden bij langere latenties, rekening houden met de precieze identiteit van de stimulus en het best kunnen worden gecorreleerd met weloverwogen gedragsacties zoals beslissingen om te benaderen of te voorkomen (Schultz en Romo, 1990; Joshua et al., 2009a; Schultz, 2010).

DA-waarschuwingsreacties kunnen worden geactiveerd door verrassende sensorische gebeurtenissen zoals onverwachte lichtflitsen en auditieve klikken, die prominente burst-excitaties oproepen in 60-90% DA-neuronen in de SNc en VTA (Strecker en Jacobs, 1985; Horvitz et al., 1997; Horvitz, 2000) (Figuur 6A). Deze waarschuwende reacties lijken de mate weer te geven waarin de stimulus verrassend is en de aandacht trekt; ze worden verminderd als een stimulus optreedt op voorspelbare tijdstippen, als de aandacht ergens anders wordt ingezet of tijdens de slaap (Schultz, 1998; Takikawa et al., 2004; Strecker en Jacobs, 1985; Steinfels et al., 1983). Een onverwacht klikgeluid bijvoorbeeld roept een prominente DA-burst op wanneer een kat zich in een passieve staat van rustig ontwaken bevindt, maar heeft geen effect wanneer de kat bezig is met aandachtsvolle activiteiten zoals jagen op een rat, voeden, verzorgen, geaaid worden door de experimentator, enzovoort (Strecker en Jacobs, 1985) (Figuur 6A). Evenzo worden DA-burstresponsen geactiveerd door sensorische gebeurtenissen die fysiek zwak zijn maar door hun nieuwheid alarmering (Ljungberg et al., 1992; Schultz, 1998). Deze reacties wennen zich naarmate de nieuwe stimulus bekend wordt, parallel met de gewenning van oriëntatiereacties (Figuur 6B). Consistent met deze bevindingen roepen verrassende en nieuwe gebeurtenissen DA-afgifte op in stroomafwaartse structuren (Lisman en Grace, 2005) en activeer DA-gerelateerde hersencircuits op een manier die de verwerking van beloningen vormt (Zink et al., 2003; Davidson et al., 2004; Duzel et al., 2010).

 

Figuur 6

Dopamine neuron excitatorische reacties op alarmerende gebeurtenissen

DA-waarschuwingsreacties worden ook geactiveerd door onverwachte sensorische signalen die de potentie hebben om nieuwe informatie te bieden over motiverend opvallende gebeurtenissen. Zoals verwacht voor een waarschuwingssignaal met een korte wachttijd, zijn deze antwoorden nogal niet-selectief: ze worden geactiveerd door elke stimulus die slechts lijkt op een motiverende treffende aanwijzing, zelfs als de overeenkomst erg gering is (een verschijnsel dat generalisatie wordt genoemd) (Schultz, 1998). Dientengevolge reageren DA-neuronen vaak op een stimulus met een mengsel van twee signalen: een snel waarschuwingssignaal dat codeert voor het feit dat de stimulus mogelijk belangrijk, en een tweede signaal dat het codeert daadwerkelijk belonende of aversieve betekenis (Schultz en Romo, 1990; Waelti et al., 2001; Tobler et al., 2003; Day et al., 2007; Kobayashi en Schultz, 2008; Fiorillo et al., 2008; Nomoto et al., 2010) (zien (Kakade en Dayan, 2002; Joshua et al., 2009a; Schultz, 2010) ter beoordeling). Een voorbeeld is te zien in een set van motiverende saillantie codering DA neuronen getoond in Figuur 6C (Bromberg-Martin et al., 2010a). Deze neuronen waren opgewonden door beloning en aversieve signalen, maar ze waren ook opgewonden door een neutrale cue. De neutrale keu was nooit gecombineerd met motivationele uitkomsten, maar had wel een (zeer lichte) fysieke gelijkenis met de beloning en aversieve signalen.

Deze waarschuwende reacties lijken nauw verbonden met het vermogen van een sensorische cue om oriëntatiereacties te activeren om het verder te onderzoeken en de betekenis ervan te ontdekken. Dit is te zien in drie opmerkelijke eigenschappen. Ten eerste vinden alarmreacties alleen plaats voor sensorische signalen die moeten worden onderzocht om hun betekenis te bepalen, niet voor intrinsiek belonende of aversieve gebeurtenissen zoals levering van sap of airpuffs (Schultz, 2010). Ten tweede, waarschuwingsreacties doen zich alleen voor wanneer een keu potentieel belangrijk is en de mogelijkheid heeft om oriëntatiereacties te activeren, niet wanneer de keu niet relevant is voor de taak en geen oriëntatiereacties teweegbrengt (Schultz en Romo, 1990). Ten derde worden waarschuwingsreacties verbeterd in situaties waarin signalen een plotselinge aandachtshift zouden uitlokken - wanneer ze op een onverwacht moment verschijnen of weg van het blikveld (Bromberg-Martin et al., 2010a). Dus wanneer motiverende aanwijzingen worden gepresenteerd met onvoorspelbare timing triggeren ze onmiddellijke oriëntatiereacties en een gegeneraliseerde DA-waarschuwingsreactie - excitatie door alle aanwijzingen inclusief neutrale signalen (Figuur 6Czwart). Maar als hun timing voorspelbaar wordt gemaakt, bijvoorbeeld door de proefpersonen een "proefstart-cue" te geven die één seconde vóór de signalen wordt gepresenteerd - roepen de signalen niet langer een waarschuwingsantwoord op (Figuur 6D, grijs). In plaats daarvan verschuift de waarschuwingsreactie naar de proefstart-cue - de eerste gebeurtenis van de proef met een onvoorspelbare timing en oriëntatiereacties (Figuur 6Dzwart).

Wat is het onderliggende mechanisme dat DA-neuronwaarschuwingssignalen genereert? Een hypothese is dat alarmreacties eenvoudigweg conventionele foutmeldingspredictiesignalen zijn die optreden bij korte latencies, die de verwachte beloningswaarde van een stimulus coderen voordat deze volledig is gediscrimineerd (Kakade en Dayan, 2002). Meer recent bewijs suggereert echter dat alarmsignalen kunnen worden gegenereerd door een ander mechanisme dan conventionele DA-beloningsignalen (Satoh et al., 2003; Bayer en Glimcher, 2005; Bromberg-Martin et al., 2010a; Bromberg-Martin et al., 2010c; Nomoto et al., 2010). Het meest opvallende is dat de waarschuwingsreactie op de start van het proces niet beperkt is tot lonende taken; het kan even sterk zijn tijdens een aversieve taak waarbij geen beloningen worden uitbetaald (Figuur 6C, D, onderaan, "aversieve taak"). Dit gebeurt zelfs hoewel conventionele DA-belonsignalen in dezelfde neuronen correct aangeven dat de lonende taak een veel hogere verwachte waarde heeft dan de aversieve taak (Bromberg-Martin et al., 2010a). Deze waarschuwingssignalen zijn niet puur een vorm van waardecodering of puur een vorm van salience codering, omdat ze voorkomen in de meerderheid van zowel motiverende waarde als salience coderende DA-neuronen (Bromberg-Martin et al., 2010a). Een tweede dissociatie kan worden gezien in de manier waarop DA-neuronen toekomstige beloningen voorspellen op basis van de herinnering aan resultaten uit de afgelopen beloning (Satoh et al., 2003; Bayer en Glimcher, 2005). Terwijl conventionele DA-belonsignalen worden bestuurd door een geheugenpad met lange tijdschaal dat is geoptimaliseerd voor nauwkeurige beloningsvoorspelling, worden alarmreacties op de startaanwijzing van een proef gecontroleerd door een afzonderlijk geheugenspoor dat lijkt op dat wat wordt waargenomen in onmiddellijk oriënterende reacties (Bromberg-Martin et al., 2010c). Een derde dissociatie kan worden gezien in de manier waarop deze signalen worden verdeeld over de DA-neuronenpopulatie. Terwijl conventionele DA-belonsignalen het sterkst zijn in de ventromediale SNc, worden waarschuwingsreacties op de proefstart-cue (en op andere onverwacht getimede signalen) door de SNc uitgezonden (Nomoto et al., 2010).

In tegenstelling tot deze dissociaties van conventionele beloningssignalen, zijn DA-waarschuwingssignalen gecorreleerd met de snelheid van oriënterende en naderingsreacties op de alarmgebeurtenis (Satoh et al., 2003; Bromberg-Martin et al., 2010a; Bromberg-Martin et al., 2010c). Dit suggereert dat alarmsignalen gegenereerd worden door een neuraal proces dat snelle reacties motiveert om potentieel belangrijke gebeurtenissen te onderzoeken. Op dit moment is helaas relatief weinig bekend over precies welke gebeurtenissen dit proces behandelt als 'belangrijk'. Staan de reacties bijvoorbeeld even gevoelig voor belonende en aversieve evenementen? Er zijn alarmreacties bekend voor stimuli die lijken op beloningstips of die lijken op beloning en aversieve signalen (bijvoorbeeld door dezelfde sensorische modaliteit te delen). Maar het is nog niet bekend of alarmreacties optreden voor stimuli die alleen op aversieve signalen lijken.

Functionele rol van dopamine waarschuwingssignalen

Zoals we hebben gezien, worden waarschu- wingssignalen waarschijnlijk gegenereerd door een ander mechanisme dan motivatie- en opvoedingssignalen. Signaleringssignalen worden echter verzonden naar zowel motiverende waarde als opvallende codering van DA-neuronen, en daarom zullen ze waarschijnlijk de hersenverwerking en -gedrag op dezelfde manier reguleren als waarden en opvallersignalen (Figuur 5).

Signalering van signalen verzonden naar motiverende saillantie coderende DA-neuronen zou het oriënteren van de aandacht op de alerte stimulus ondersteunen, het betrekken van cognitieve bronnen om de betekenis ervan te ontdekken en een actieplan te bepalen, en de motivatieniveaus verhogen om dit plan efficiënt uit te voeren (Figuur 5). Deze effecten kunnen optreden door onmiddellijke effecten op de neurale verwerking of door versterkende acties die hebben geleid tot detectie van de waarschuwing. Deze functionele rol past goed bij de correlatie tussen DA-waarschuwingsresponsen en snelle gedragsreacties op de alarmeringsstimulus, en met theorieën dat DA-neuronresponsen met een korte latentie betrokken zijn bij het oriënteren van aandacht, opwinding, verbetering van cognitieve verwerking en onmiddellijke gedragsreacties (Redgrave et al., 1999; Horvitz, 2000; Joseph et al., 2003; Lisman en Grace, 2005; Redgrave en Gurney, 2006; Joshua et al., 2009a).

De aanwezigheid van waarschuwingssignalen in DA-neuronen met motivationele waardecodering is moeilijker uit te leggen. Deze neuronen verzenden motiverende waardesignalen die ideaal zijn voor het zoeken, evalueren van resultaten en leren van waarden; maar ze kunnen ook opgewonden raken door gebeurtenissen zoals onverwachte klikgeluiden en het begin van aversieve trials te alarmeren. Volgens onze veronderstelde route (Figuur 5), zou dit ertoe leiden dat alarmevenementen een positieve waarde krijgen en dat ze op een vergelijkbare manier als beloningen worden gezocht! Hoewel het op het eerste gezicht verrassend is, is er reden om te vermoeden dat alarmsituaties als positieve doelen kunnen worden beschouwd. Signaleringssignalen vormen de eerste waarschuwing dat er zich een mogelijk belangrijke gebeurtenis voordoet en bieden daarom de eerste mogelijkheid om actie te ondernemen om die gebeurtenis te besturen. Als waarschuwingsaanwijzingen beschikbaar zijn, kunnen motiverend opvallende gebeurtenissen van tevoren worden gedetecteerd, voorspeld en voorbereid; als waarschuwingsaanwijzingen afwezig zijn, treden motiverende en opvallende gebeurtenissen altijd op als een onverwachte verrassing. Inderdaad, mensen en dieren drukken vaak een voorkeur uit voor omgevingen waar belonende, aversieve en zelfs motivationele neutrale zintuiglijke gebeurtenissen van tevoren kunnen worden waargenomen en voorspeld (Badia et al., 1979; Herry et al., 2007; Daly, 1992; Chew en Ho, 1994) en veel DA-neuronen signaleren de gedragsvoorkeur om beloningsvoorspellende informatie te bekijken (Bromberg-Martin en Hikosaka, 2009). DA-waarschuwingssignalen ondersteunen deze voorkeuren door een positieve waarde toe te kennen aan omgevingen waar mogelijk belangrijke sensorische signalen vooraf kunnen worden verwacht.

Anatomische locaties van waarde- en salience-coderende neuronen

Een recent onderzoek bracht de locaties van DA-beloning en aversieve signalen in de laterale middenhersenen in kaart, inclusief de SNc en het meest laterale deel van de VTA (Matsumoto en Hikosaka, 2009b). Motiverende waarde en motivationele opvallingssignalen werden over dit gebied verdeeld in een anatomische gradiënt. Motiverende waardesignalen werden vaker gevonden in neuronen in de ventromediale SNc en laterale VTA, terwijl motiverende opvoedingssignalen vaker werden gevonden in neuronen in de dorsolaterale SNc (Figuur 7B). Dit is consistent met de rapporten dat DA beloningswaardecodering het sterkst is in de ventromediale SNc (Nomoto et al., 2010) terwijl aversieve excitaties de neiging hebben de sterkste lateraal sterker te zijn (Mirenowicz en Schultz, 1996). Andere studies hebben de meer mediale middenhersenen onderzocht. Deze studies vonden een mengsel van exciterende en remmende aversieve responsen zonder significant verschil in hun locaties, hoewel met een trend voor aversieve excitaties om meer ventraal te worden gelokaliseerd (Guarraci en Kapp, 1999; Brischoux et al., 2009) (Figuur 7C).

Bestemmingen van motivationele waardesignalen

Volgens onze hypothese moeten motivationele waardencodering DA-neuronen projecteren op hersenregio's die betrokken zijn bij aanpak en vermijdingsacties, evaluatie van resultaten en waarde leren (Figuur 5). Inderdaad, het ventromediale SNc en VTA projecteren naar de ventromediale prefrontale cortex (Williams en Goldman-Rakic, 1998) inclusief de orbitofrontale cortex (OFC) (Porrino en Goldman-Rakic, 1982) (Figuur 7A). De OFC is consequent betrokken geweest bij waardencodering in functionele beeldvormende onderzoeken (Anderson et al., 2003; Small et al., 2003; Jensen et al., 2007; Litt et al., 2010) en enkele neuronopnames (Morrison en Salzman, 2009; Roesch en Olson, 2004). Er wordt aangenomen dat de OFC keuzemogelijkheden evalueert (Padoa-Schioppa, 2007; Kable en Glimcher, 2009), codeer de uitkomstverwachtingen (Schoenbaum et al., 2009) en update deze verwachtingen tijdens het leren (Walton et al., 2010). Verder is de OFC betrokken bij het leren van negatieve beloningsvoorspellingsfouten (Takahashi et al., 2009) die het sterkst zijn in DA-neuronen met waardecodering (Figuur 4).

Bovendien projecteren de mediale delen van de dopaminerge middenhersenen zich naar het ventrale striatum inclusief de nucleus accumbens omhulling (NAc-schaal) (Haber et al., 2000) (Figuur 7A). Een recente studie toonde aan dat de NAc-schaal fasische DA-signalen ontvangt die coderen voor de motivatiewaarde van smaakresultaten (Roitman et al., 2008). Deze signalen zullen waarschijnlijk leiden tot het leren van waarden, omdat directe infusie van DA-geneesmiddelen in de NAc-schaal sterk wordt versterkt (Ikemoto, 2010) terwijl behandelingen die de DA-invoer naar de schaal verminderen, aversies kunnen veroorzaken (Liu et al., 2008). Een waarschuwing is dat studies van NAc-schaal-DA-afgifte gedurende lange tijdschalen (minuten) gemengde resultaten hebben opgeleverd, waarvan sommige consistent zijn met waardencodering en andere met code voor opvallendheid (bijv.Bassareo et al., 2002; Ventura et al., 2007)). Dit suggereert dat waardesignalen kunnen worden beperkt tot specifieke locaties binnen de NAc-schaal. Met name zijn verschillende regio's van de NAc-schaal gespecialiseerd in het beheersen van appetitief en aversief gedrag (Reynolds en Berridge, 2002), die beide input vereisen van DA-neuronen (Faure et al., 2008).

Ten slotte sturen DA-neuronen door de hele omvang van de SNc zware projecties naar het dorsale striatum (Haber et al., 2000), wat suggereert dat het dorsale striatum zowel motiverende als coderende DA-signalen kan ontvangen (Figuur 7A). Motiverende waardecodering DA-neuronen zouden een ideaal instructief signaal zijn voor striatale schakelingen die betrokken zijn bij waardeleren, zoals het leren van stimulusresponsgewoonten (Faure et al., 2005; Yin en Knowlton, 2006; Balleine en O'Doherty, 2010). Wanneer deze DA-neuronen barsten, zouden ze zich op de directe weg toeleggen om te leren beloningsresultaten te behalen; wanneer ze pauzeren, zouden ze de indirecte weg inslaan om te leren aversieve uitkomsten te vermijden (Figuur 2). Er is inderdaad recent bewijs dat de striatale paden precies deze taakverdeling volgen voor beloning en aversieve verwerking (Hikida et al., 2010). Het is echter nog onbekend hoe neuronen in deze routes reageren op belonende en aversieve gebeurtenissen tijdens gedrag. Althans in het dorsale striatum als geheel reageert een subset van neuronen op bepaalde belonende en aversieve gebeurtenissen op verschillende manieren (Ravel et al., 2003; Yamada et al., 2004, 2007; Joshua et al., 2008).

Bestemmingen van motiverende opvoedingssignalen

Volgens onze hypothese moeten motiverende saillantie coderende DA-neuronen projecteren naar hersengebieden die betrokken zijn bij oriënteren, cognitieve verwerking en algemene motivatie (Figuur 5). DA-neuronen in de dorsolaterale middenhersenen sturen inderdaad projecties naar de dorsale en laterale frontale cortex (Williams en Goldman-Rakic, 1998) (Figuur 7A), een regio die betrokken is bij cognitieve functies zoals aandachtsonderzoek, werkgeheugen, cognitieve controle en besluitvorming tussen motivationele uitkomsten (Williams en Castner, 2006; Lee en Seo, 2007; Wise, 2008; Kable en Glimcher, 2009; Wallis en Kennerley, 2010). Dorsolaterale prefrontale cognitieve functies worden strak gereguleerd door DA-niveaus (Robbins en Arnsten, 2009) en zijn theoretisch afhankelijk van fasische DA-neuronactivatie (Cohen et al., 2002; Lapish et al., 2007). Met name reageert een subset van laterale prefrontale neuronen op zowel belonende als aversieve visuele signalen, en de overgrote meerderheid reageert in dezelfde richting die lijkt op de codering van motiverende opvallendheid (Kobayashi et al., 2006). Bovendien is de activiteit van deze neuronen gecorreleerd met gedragssucces bij het uitvoeren van werkgeheugentaken (Kobayashi et al., 2006). Hoewel deze dorsolaterale DA → dorsolaterale frontale cortex pathway specifiek lijkt te zijn voor primaten (Williams en Goldman-Rakic, 1998), kan een functioneel vergelijkbare route in andere soorten voorkomen. In het bijzonder, veel van de cognitieve functies van de primaat dorsolaterale prefrontale cortex worden uitgevoerd door de knaagdier mediale prefrontale cortex (Uylings et al., 2003), en er zijn aanwijzingen dat deze regio DA-motiverende opvoedingssignalen ontvangt en salience-gerelateerd gedrag beheerst (Mantz et al., 1989; Di Chiara, 2002; Joseph et al., 2003; Ventura et al., 2007; Ventura et al., 2008).

Gegeven het bewijs dat de VTA zowel opvallendheid als waardecoderende neuronen bevat en dat waardecoderingssignalen naar de NAc-schaal worden verzonden, kunnen opvallende signalen naar de NAc-kern worden verzonden (Figuur 7A). Inderdaad, de NAc core (maar niet de shell) is cruciaal voor het mogelijk maken van motivatie om responskosten zoals fysieke inspanning te overwinnen; voor het uitvoeren van set-shifting taken die cognitieve flexibiliteit vereisen; en om het mogelijk te maken dat beloningsaanwijzingen een verbetering van de algemene motivatie veroorzaken (Ghods-Sharifi en Floresco, 2010; Floresco et al., 2006; Hall et al., 2001; Kardinaal, 2006). In overeenstemming met de codering van motiverende opvallendheid, ontvangt de NAc-kern fasische uitbarstingen van DA tijdens beide belonende ervaringen (Day et al., 2007) en aversieve ervaringen (Anstrom et al., 2009).

Ten slotte, zoals hierboven besproken, kunnen enkele saillant gedrag coderende DA-neuronen naar het dorsale striatum projecteren (Figuur 7A). Hoewel sommige delen van het dorsale striatum betrokken zijn bij functies die verband houden met het leren van actiewaarden, is het dorsale striatum ook betrokken bij functies die moeten worden ingezet voor alle opvallende gebeurtenissen, zoals oriëntatie, aandacht, werkgeheugen en algemene motivatie (Hikosaka et al., 2000; Klingberg, 2010; Palmiter, 2008). Inderdaad, een subset van dorsale striatale neuronen reageert sterker op belonende en aversieve gebeurtenissen dan op neutrale gebeurtenissen (Ravel et al., 1999; Blazquez et al., 2002; Yamada et al., 2004, 2007), hoewel hun oorzakelijke rol bij gemotiveerd gedrag nog niet bekend is.

Bronnen van motivationele waardesignalen

Een recente reeks studies suggereert dat DA neuronen motiverende waardesignalen ontvangen van een kleine kern in de epithalamus, de laterale habenula (LHb) (Hikosaka, 2010) (Figuur 8). De LHb oefent krachtige negatieve controle uit op DA-neuronen: LHb-stimulatie remt DA-neuronen bij korte latenties (Christoph et al., 1986) en kan leren op een tegenovergestelde manier regelen aan VTA-stimulatie (Shumake et al., 2010). Consistent met een negatief controlesignaal, hebben veel LHb-neuronen spiegel-geïnverteerde fasische reacties op DA-neuronen: LHb-neuronen zijn remde door positieve beloningsvoorspellingsfouten en opgewonden door negatieve beloningsvoorspellingsfouten (Matsumoto en Hikosaka, 2007, 2009; Bromberg-Martin et al., 2010a; Bromberg-Martin et al., 2010c). In verschillende gevallen treden deze signalen op bij kortere latencies in de LHb, consistent met LHb → DA-transmissie (Matsumoto en Hikosaka, 2007; Bromberg-Martin et al., 2010a).

 

Figuur 8

Getypothetische bronnen van motivationele waarde, opvallendheid en waarschuwingssignalen

De LHb is in staat om DA-neuronen door de middenhersenen te controleren, maar verschillende bewijslijnen suggereren dat het de voorkeurscontrole uitoefent op DA-neuronen die coderen voor motivatiewaarde. Ten eerste coderen LHb-neuronen de motivatiewaarde op een manier die nauw aansluit bij waardencoderende DA-neuronen - ze coderen voor zowel positieve als negatieve beloningsvoorspellingsfouten en reageren in tegengestelde richting op belonende en aversieve gebeurtenissen (Matsumoto en Hikosaka, 2009a; Bromberg-Martin et al., 2010a). Ten tweede heeft LHb-stimulatie zijn meest krachtige effecten op DA-neuronen waarvan de eigenschappen consistent zijn met waardecodering, waaronder remming door beloningselementen zonder winst en anatomische locatie in de ventromediale SNc (Matsumoto en Hikosaka, 2007, 2009b). Ten derde verminderen laesies van de LHb DA neuron-inhiberende reacties op aversieve gebeurtenissen, wat een oorzakelijke rol suggereert voor de LHb bij het genereren van DA-waardesignalen (Gao et al., 1990).

De LHb maakt deel uit van een uitgebreidere neurale route waardoor DA-neuronen kunnen worden gecontroleerd door de basale ganglia (Figuur 8). De LHb ontvangt signalen die lijken op beloningsvoorspellingsfouten door een projectie van een populatie van neuronen gelegen rond de globus pallidus grens (GPb) (Hong en Hikosaka, 2008). Zodra deze signalen de LHb bereiken, worden ze waarschijnlijk naar DA-neuronen gestuurd via een disynaptische route waarin de LHb de GABA-neuronen van de middenhersenen opwekt die op hun beurt DA-neuronen remmen (Ji en Shepard, 2007; Omelchenko et al., 2009; Brinschwitz et al., 2010). Dit kan gebeuren door LHb projecties op interneuronen in de VTA en op een aangrenzende GABA-ergische kern genaamd de rostromediale tegmentale kern (RMTg) (Jhou et al., 2009b) (ook wel de staartstaart van VTA genoemd) (Kaufling et al., 2009)). Met name hebben RMTg-neuronen responseigenschappen die lijken op LHb-neuronen, coderen voor motivatiewaarde en hebben ze een zware remmende projectie op dopaminerge middenhersenen (Jhou et al., 2009a). Dus, de complete basale ganglia-route om motivationele waardesignalen naar DA-neuronen te sturen, kan zijn GPb → LHb → RMTg → DA (Hikosaka, 2010).

Een belangrijke vraag voor toekomstig onderzoek is of motiverende waardesignalen alleen via de LHb worden gekanaliseerd of dat ze door meerdere ingangspaden worden gedragen. Met name DA remmingen door aversieve voetschokken worden gecontroleerd door activiteit in de mesopontine parabrachiale kern (PBN) (Coizet et al., 2010) (Figuur 8). Deze kern bevat neuronen die directe input van het ruggenmerg ontvangen en coderen voor schadelijke sensaties en DA-neuronen kunnen remmen door exciterende projecties naar de RMTg (Coizet et al., 2010; Gauriau en Bernard, 2002). Dit suggereert dat de LHb DA-neuronen motiverende waardesignalen verzendt voor zowel belonende als aversieve aanwijzingen en uitkomsten, terwijl de PBN een component van het waardesignaal levert dat specifiek gerelateerd is aan aversieve uitkomsten.

Bronnen van motiverende opvallende signalen

Er is minder bekend over de bron van motiverende opvoedingssignalen in DA-neuronen. Een intrigerende kandidaat is de centrale kern van de amygdala (CeA) die consequent betrokken is bij oriëntatie, aandacht en algemene motivationele reacties tijdens zowel belonende als aversieve gebeurtenissen (Holland en Gallagher, 1999; Baxter en Murray, 2002; Merali et al., 2003; Balleine en Killcross, 2006) (Figuur 8). De CeA en andere amygdala-kernen bevatten vele neuronen waarvan de signalen consistent zijn met motivationele saillantie: ze signaleren belonende en aversieve gebeurtenissen in dezelfde richting, worden versterkt wanneer gebeurtenissen onverwacht optreden en zijn gecorreleerd met gedragsmatige maatregelen van opwinding (Nishijo et al., 1988; Belova et al., 2007; Shabel en Janak, 2009). Deze signalen kunnen naar DA-neuronen worden gestuurd omdat de CeA dalende projecties naar de hersenstam heeft met lonende en aversieve informatie (Lee et al., 2005; Pascoe en Kapp, 1985) en de CeA is noodzakelijk voor DA-release tijdens evenementen met betrekking tot beloning (Phillips et al., 2003a). Verder neemt de CeA deel met DA-neuronen in routes die consistent zijn met onze voorgestelde anatomische en functionele netwerken voor motivationele saillantie. Een pad met de CeA, SNc en het dorsale striatum is noodzakelijk voor geleerde oriëntatie op voedselaanwijzingen (Han et al., 1997; Lee et al., 2005; El-Amamy en Nederland, 2007). In overeenstemming met onze divisie van opvallendheid versus waardesignalen, is deze weg nodig om te leren zich te oriënteren op voedselaanwijzingen, maar niet om te leren om de voedingsresultaten te benaderen (Han et al., 1997). Een tweede pad, met inbegrip van de CeA-, SNc-, VTA- en NAc-kern, is nodig om ervoor te zorgen dat beloningaanwijzingen leiden tot een toename van de algemene motivatie om beloningszoekende acties uit te voeren (Hall et al., 2001; Corbit en Balleine, 2005; El-Amamy en Nederland, 2007).

In aanvulling op de CeA, konden DA-neuronen motiverende opvoedingssignalen ontvangen van andere bronnen, zoals voor de gezondheid coderende neuronen in de basale voorhersenen (Lin en Nicolelis, 2008; Richardson en DeLong, 1991) en neuronen in de PBN (Coizet et al., 2010), hoewel deze paden nog moeten worden onderzocht.

Bronnen van waarschuwingssignalen

Er zijn verschillende goede kandidaten om DA-neuronen waarschuwingssignalen te geven. Misschien wel de meest aantrekkelijke kandidaat is de superieure colliculus (SC), een middenhersenen kern die sensorische input met een korte latentie ontvangt van meerdere sensorische modaliteiten en controles die reacties en aandacht oriënteren (Redgrave en Gurney, 2006) (Figuur 8). De SC heeft een directe projectie naar de SNc en VTA (May et al., 2009; Comoli et al., 2003). Bij geanesthetiseerde dieren is de SC een vitaal kanaal voor visuele signalen met korte latentie om DA-neuronen te bereiken en DA-afgifte in stroomafwaartse structuren te activeren (Comoli et al., 2003; Dommett et al., 2005). De SC-DA-route is het meest geschikt voor het overbrengen van waarschuwingssignalen in plaats van belonings- en aversiesignalen, omdat SC-neuronen weinig respons hebben op beloningslevering en slechts een geringe invloed hebben op DA-aversieve reacties (Coizet et al., 2006). Dit suggereert een reeks gebeurtenissen waarin SC-neuronen (1) een stimulus detecteren, (2) selecteren als potentieel belangrijk, (3) een oriëntatiereactie triggeren om de stimulus te onderzoeken en (4) tegelijkertijd een DA-waarschuwingsreactie activeren die ervoor zorgt dat een burst van DA in stroomafwaartse structuren (Redgrave en Gurney, 2006).

Een tweede kandidaat voor het verzenden van alarmsignalen naar DA-neuronen is de LHB (Figuur 8). Met name remt het onverwachte begin van een proefstart-cue veel LHb-neuronen op een omgekeerde manier naar het DA-neuronwaarschuwingssignaal, en deze reactie vindt plaats bij kortere latentietijd in de LHb in overeenstemming met een LHb → DA-richting van transmissie (Bromberg-Martin et al., 2010a; Bromberg-Martin et al., 2010c). We hebben ook anekdotisch vastgesteld dat LHb-neuronen vaak worden geremd door onverwachte visuele beelden en op een omgekeerde manier worden weergegeven aan DA-excitaties (MM, ESB-M. En OH, niet-gepubliceerde waarnemingen), hoewel dit op een meer systematisch onderzoek wacht.

Een derde kandidaat voor het sturen van alarmsignalen naar DA-neuronen is ten slotte de pedunculopontine tegmental nucleus (PPTg), die zowel naar de SNc als de VTA projecteert en betrokken is bij motiverende verwerking (Winn, 2006) (Figuur 8). De PPTg is belangrijk voor het activeren van VTA DA neuron bursts (Grace et al., 2007) inclusief burst-reacties op beloningselementen (Pan en Hyland, 2005). Consistent met een waarschuwingssignaal hebben PPTg-neuronen reacties met een korte latentie op meerdere sensorische modaliteiten en zijn ze actief tijdens oriëntatiereacties (Winn, 2006). Er zijn aanwijzingen dat de sensorische respons van PPTg wordt beïnvloed door de waarde van de beloning en door vereisten voor onmiddellijke actie (Dormont et al., 1998; Okada et al., 2009) (maar kijk (Pan en Hyland, 2005)). Sommige PPTg-neuronen reageren ook zelf op lonende of aversieve uitkomsten (Dormont et al., 1998; Kobayashi et al., 2002; Ivlieva en Timofeeva, 2003b, a). Het zal belangrijk zijn om te testen of de signalen die de PPTg naar DA-neuronen stuurt specifiek gerelateerd zijn aan waarschuwingen of dat ze andere motivatiesignalen bevatten zoals waarde en opvallendheid.

Dit werk werd ondersteund door het intramurale onderzoeksprogramma van het National Eye Institute. We danken ook Amy Arnsten voor waardevolle discussies.

Disclaimer uitgever: Dit is een PDF-bestand van een onbewerkt manuscript dat is geaccepteerd voor publicatie. Als service aan onze klanten bieden wij deze vroege versie van het manuscript. Het manuscript zal een copy-editing ondergaan, een typografie en een review van het resulterende bewijs voordat het in zijn definitieve citeervorm wordt gepubliceerd. Houd er rekening mee dat tijdens het productieproces fouten kunnen worden ontdekt die van invloed kunnen zijn op de inhoud en alle wettelijke disclaimers die van toepassing zijn op het tijdschrift.

^FOOTNOTE1By motiverende opvallendheid we bedoelen een hoeveelheid die hoog is voor zowel belonende als aversieve evenementen en is laag voor motiverende (niet-lonende en niet-aversieve) evenementen. Dit is vergelijkbaar met de definitie gegeven door (Berridge en Robinson, 1998). Merk op dat motivationele saillantie verschilt van andere opvattingen over saillantie die worden gebruikt in de neurowetenschappen, zoals incentive salience (die alleen van toepassing is op wenselijke gebeurtenissen;Berridge en Robinson, 1998)) en perceptuele opvallendheid (wat van toepassing is op motiverende neutrale gebeurtenissen zoals bewegende voorwerpen en gekleurde lichten;Bisley en Goldberg, 2010)).]

^FOOTNOTE2Merk op dat motiverende opvallendheid die DA neuron signalen codeert verschilt van de klassieke noties van "associeerbaarheid" en "verandering in associeerbaarheid" die zijn voorgesteld om de mate van versterking van het leren te reguleren (bijv.Pearce en Hall, 1980)). Zulke theorieën stellen dat dieren leren van (en hun leerritmes aanpassen) van zowel positieve als negatieve voorspellingsfouten. Hoewel deze DA-neuronen kunnen bijdragen aan het leren van positieve voorspellingsfouten, waarbij ze een sterke respons kunnen hebben (bijvoorbeeld op onverwachte beloning), kunnen ze mogelijk niet bijdragen aan het leren van negatieve voorspellingsfouten, waarbij ze weinig of geen respons kunnen hebben ( bijv. om onverwachte beloning omissie) (Fig. 4B).

1. Ahlbrecht M, Weber M. De oplossing van onzekerheid: een experimenteel onderzoek. Tijdschrift voor institutionele en theoretische economie. 1996, 152: 593-607.
2. Albin RL, Young AB, Penney JB. De functionele anatomie van basale ganglia-stoornissen. Trends in neurowetenschappen. 1989, 12: 366-375. [PubMed]
3. Anderson AK, Christoff K, Stappen I, Panitz D, Ghahremani DG, Glover G, Gabrieli JD, Sobel N. Gedissocieerde neurale representaties van intensiteit en valentie bij menselijke reukzin. Nat Neurosci. 2003, 6: 196-202. [PubMed]
4. Anstrom KK, Miczek KA, Budygin EA. Verhoogde fasische dopamine signalering in het mesolimbische pad tijdens sociale nederlaag bij ratten. Neuroscience. 2009, 161: 3-12. [PubMed]
5. Aragona BJ, dag JJ, Roitman MF, Cleaveland NA, Wightman RM, Carelli RM. Regionale specificiteit in de real-time ontwikkeling van fasische dopamine transmissiepatronen tijdens acquisitie van een cue-cocaïne associatie bij ratten. Het Europese tijdschrift voor neurowetenschap. 2009, 30: 1889-1899. [PMC gratis artikel] [PubMed]
6. Austin AJ, Duka T. Aandachtsmechanismen voor appetijtelijke en aversieve uitkomsten in Pavlovische conditionering. Gedragshers onderzoek. 2010, 213: 19-26. [PubMed]
7. Badia P, Harsh J, Abbott B. Kiezen tussen voorspelbare en onvoorspelbare schokcondities: gegevens en theorie. Psychologisch Bulletin. 1979, 86: 1107-1131.
8. Balleine BW, Killcross S. Parallelle incentieverwerking: een geïntegreerd beeld van de amygdala-functie. Trends in neurowetenschappen. 2006, 29: 272-279. [PubMed]
9. Balleine BW, O'Doherty JP. Homologieën van mens en knaagdier in actiecontrole: corticostriatale determinanten van doelgerichte en gebruikelijke actie. Neuropsychopharmacology. 2010; 35: 48-69. [PMC gratis artikel] [PubMed]
10. Barr GA, Moriceau S, Shionoya K, Muzny K, Gao P, Wang S, Sullivan RM. Overgangen bij het leren van kinderen worden gemoduleerd door dopamine in de amygdala. Nat Neurosci. 2009, 12: 1364-1366. [PMC gratis artikel] [PubMed]
11. Bassareo V, De Luca MA, Di Chiara G. Differentiële expressie van motiverende stimuli-eigenschappen door Dopamine in Nucleus Accumbens Shell versus kern- en pre-frontale cortex. J Neurosci. 2002, 22: 4709-4719. [PubMed]
12. Bassareo V, Di Chiara G. Differentiële responsiviteit van dopamine-overdracht op voedselstimuli in kern / compartimenten van nucleus accumbens. Neuroscience. 1999, 89: 637-641. [PubMed]
13. Baxter MG, Murray EA. De amygdala en beloning. Nat Rev Neurosci. 2002, 3: 563-573. [PubMed]
14. Bayer HM, Glimcher PW. Mid-brein dopamine neuronen coderen voor een kwantitatief beloningsvoorspellingsfoutsignaal. Neuron. 2005, 47: 129-141. [PMC gratis artikel] [PubMed]
15. Belova MA, Paton JJ, Morrison SE, Salzman CD. Verwachting moduleert neurale reacties op aangename en aversieve stimuli in amygdala van primaten. Neuron. 2007, 55: 970-984. [PMC gratis artikel] [PubMed]
16. Bentivoglio M, Morelli M. De organisatie en circuits van mesencephalische dopaminerge neuronen en de verdeling van dopamine-receptoren in de hersenen. Handboek van Chemical Neuroanatomy. 2005: 1-107.
17. Berridge KC, Robinson TE. Wat is de rol van dopamine bij belonen: hedonische impact, beloningsleren of incentive-salience? Hersenonderzoek. 1998, 28: 309-369. [PubMed]
18. Besson C, Louilot A. Asymmetrische betrokkenheid van mesolimbische dopaminerge neuronen bij affectieve perceptie. Neuroscience. 1995, 68: 963-968. [PubMed]
19. Birgner C, Nordenankar K, Lundblad M, Mendez JA, Smith C, le Greves M, Galter D, Olson L, Fredriksson A, Trudeau LE, et al. VGLUT2 in dopamine-neuronen is vereist voor psychostimulant-geïnduceerde gedragsactivatie. Proceedings van de National Academy of Sciences in de Verenigde Staten van Amerika. 2010, 107: 389-394. [PMC gratis artikel] [PubMed]
20. Bisley JW, Goldberg ME. Aandacht, intentie en prioriteit in de pariëtale kwab. Jaaroverzicht van de neurowetenschap. 2010, 33: 1-21. [PMC gratis artikel] [PubMed]
21. Bjorklund A, Dunnett SB. Dopamine neuron-systemen in de hersenen: een update. Trends in neurowetenschappen. 2007, 30: 194-202. [PubMed]
22. Blazquez PM, Fujii N, Kojima J, Graybiel AM. Een netwerkrepresentatie van responskans in het striatum. Neuron. 2002, 33: 973-982. [PubMed]
23. Botvinick MM, Braver TS, Barch DM, Carter CS, Cohen JD. Conflictmonitoring en cognitieve controle. Psychol Rev. 2001; 108: 624-652. [PubMed]
24. Bradley MM, Greenwald MK, Petry MC, Lang PJ. Foto's onthouden: plezier en opwinding in het geheugen. J Exp Psychol Leer mem Cogn. 1992, 18: 379-390. [PubMed]
25. Braun DA, Mehring C, Wolpert DM. Structuur leren in actie. Gedragshers onderzoek. 2010, 206: 157-165. [PMC gratis artikel] [PubMed]
26. Brinschwitz K, Dittgen A, Madai VI, Lommel R, Geisler S, Veh RW. Glutamaterge axonen van de laterale habenula eindigen voornamelijk op GABAergische neuronen van de ventrale middenhersenen. Neuroscience. 2010, 168: 463-476. [PubMed]
27. Brischoux F, Chakraborty S, Brierley DI, Ungless MA. Fasische excitatie van dopamine-neuronen in ventrale VTA door schadelijke prikkels. Proceedings van de National Academy of Sciences in de Verenigde Staten van Amerika. 2009, 106: 4894-4899. [PMC gratis artikel] [PubMed]
28. Bromberg-Martin ES, Hikosaka O. Midburn dopamine-neuronen geven de voorkeur aan voorafgaande informatie over komende beloningen. Neuron. 2009, 63: 119-126. [PMC gratis artikel] [PubMed]
29. Bromberg-Martin ES, Matsumoto M, Hikosaka O. Duidelijke tonische en fasische anticiperende activiteit in laterale habenula en dopamine neuronen. Neuron. 2010a; 67: 144-155. [PMC gratis artikel] [PubMed]
30. Bromberg-Martin ES, Matsumoto M, Hong S, Hikosaka O. Een pallidus-habenula-dopamine-route signaleert afgeleide stimuluswaarden. J Neurophysiol. 2010b; 104: 1068-1076. [PMC gratis artikel] [PubMed]
31. Bromberg-Martin ES, Matsumoto M, Nakahara H, Hikosaka O. Meerdere tijdschalen van het geheugen in zij habenula en dopamine neuronen. Neuron. 2010c; 67: 499-510. [PMC gratis artikel] [PubMed]
32. Brown MTC, Henny P, Bolam JP, Magill PJ. Activiteit van neurochemisch heterogene dopaminerge neuronen in de substantia nigra tijdens spontane en aangedreven veranderingen in de hersentoestand. J Neurosci. 2009, 29: 2915-2925. [PubMed]
33. Kardinaal RN. Neurale systemen betrokken bij vertraagde en probabilistische versterking. Neural Netw. 2006, 19: 1277-1301. [PubMed]
34. Juich JF, Aragona BJ, Heien ML, Seipel AT, Carelli RM, Wightman RM toe. Gecoördineerde accumulatie van dopamine-afgifte en neurale activiteit stimuleert doelgericht gedrag. Neuron. 2007, 54: 237-244. [PubMed]
35. Cheramy A, Kemel ML, Gauchy C, Desce JM, Galli T, Barbeito L, Glowinski J. De rol van excitatoire aminozuren in de directe en indirecte presynaptische regulatie van dopamineafgifte uit zenuwuiteinden van nigrostriatale dopaminneuronen. Aminozuren. 1991, 1: 351-363. [PubMed]
36. Kauw SH, Ho JL. Hoop: een empirische studie van de houding ten opzichte van de timing van het oplossen van onzekerheden. Journal of Risk and Uncertainty. 1994, 8: 267-288.
37. Chiodo LA, Antelman SM, Caggiula AR, Lineberry CG. Sensorische stimuli veranderen de ontlading van dopamine (DA) -neuronen: bewijs voor twee functionele typen DA-cellen in de substantia nigra. Brain Res. 1980, 189: 544-549. [PubMed]
38. Christoph GR, Leonzio RJ, Wilcox KS. Stimulatie van de laterale habenula remt dopamine-bevattende neuronen in het substantia nigra en ventrale tegmentale gebied van de rat. J Neurosci. 1986, 6: 613-619. [PubMed]
39. Chuhma N, Choi WY, Mingote S, Rayport S. Dopamine neuron glutamaat cotransmissie: frequentieafhankelijke modulatie in de mesoventromediale projectie. Neuroscience. 2009, 164: 1068-1083. [PMC gratis artikel] [PubMed]
40. Cohen JD, Braver TS, Brown JW. Computationele perspectieven op de dopaminefunctie in de prefrontale cortex. Huidige opinie over neurobiologie. 2002, 12: 223-229. [PubMed]
41. Coizet V, Dommett EJ, Klop EM, Redgrave P, Overton PG. De parabrachiale kern is een cruciale schakel in de overdracht van nociceptieve informatie met korte latentie naar dopaminerge neuronen van de middenhersenen. Neuroscience. 2010, 168: 263-272. [PMC gratis artikel] [PubMed]
42. Coizet V, Dommett EJ, Redgrave P, Overton PG. Nociceptieve responsen van dopaminerge neuronen van de middenhersenen worden gemoduleerd door de superieure colliculus in de rat. Neuroscience. 2006, 139: 1479-1493. [PubMed]
43. Comoli E, Coizet V, Boyes J, Bolam JP, Canteras NS, Quirk RH, Overton PG, Redgrave P. Een directe projectie van superieure colliculus tot substantia nigra voor het detecteren van opvallende visuele gebeurtenissen. Nat Neurosci. 2003, 6: 974-980. [PubMed]
44. Corbit LH, Balleine BW. Dubbele dissociatie van basolaterale en centrale amygdala-laesies op de algemene en uitkomstspecifieke vormen van pavloviaanse-instrumentale overdracht. J Neurosci. 2005, 25: 962-970. [PubMed]
45. Dalley JW, Laane K, Theobald DE, Armstrong HC, Corlett PR, Chudasama Y, Robbins TW. Tijd-beperkte modulatie van appetitief Pavlovisch geheugen door D1 en NMDA-receptoren in de nucleus accumbens. Proceedings van de National Academy of Sciences in de Verenigde Staten van Amerika. 2005, 102: 6189-6194. [PMC gratis artikel] [PubMed]
46. Daly HB. Voorkeur voor onvoorspelbaarheid is omgekeerd wanneer onvoorspelbaar niet-goed gedrag aversief is: procedures, gegevens en theorieën van positieve waarnemende responsverwerving. In: Gormezano I, Wasserman EA, redacteuren. Leren en geheugen: de gedrags- en biologische substraten. LE Associates; 1992. pp. 81-104.
47. Davidson MC, Horvitz JC, Tottenham N, Fossella JA, Watts R, Ulug AM, Casey BJ. Differentiële caudate en cingulate activering na onverwachte niet-beloorzorgzame stimuli. NeuroImage. 2004, 23: 1039-1045. [PubMed]
48. Dag JJ, Roitman MF, Wightman RM, Carelli RM. Associatief leren zorgt voor dynamische verschuivingen in dopamine-signalering in de nucleus accumbens. Nat Neurosci. 2007, 10: 1020-1028. [PubMed]
49. Dayan P, Niv Y. Reinforcement learning: het goede, het slechte en het lelijke. Huidige opinie over neurobiologie. 2008, 18: 185-196. [PubMed]
50. Descarries L, Berube-Carriere N, Riad M, Bo GD, Mendez JA, Trudeau LE. Glutamaat in dopamine-neuronen: synaptische versus diffuse transmissie. Hersenonderzoek beoordelingen. 2008, 58: 290-302. [PubMed]
51. Di Chiara G. Nucleus accumbens shell and core dopamine: differentiële rol in gedrag en verslaving. Gedragshers onderzoek. 2002, 137: 75-114. [PubMed]
52. Dommett E, Coizet V, Blaha CD, Martindale J, Lefebvre V, Walton N, Mayhew JE, Overton PG, Redgrave P. Hoe visuele stimuli dopaminerge neuronen activeren bij een korte latentie. Wetenschap. 2005, 307: 1476-1479. [PubMed]
53. Dormont JF, Conde H, Farin D. De rol van de pedunculopontine tegmentale kern in relatie tot geconditioneerde motorprestaties bij de kat. I. Contextafhankelijke en aan versterking gerelateerde activiteit van afzonderlijke eenheden. Experimenteel hersenonderzoek. Experimentelle Hirnforschung. 1998, 121: 401-410. [PubMed]
54. Duzel E, Bunzeck N, Guitart-Masip M, Duzel S. NOVELTY-gerelateerde motivatie van anticipatie en exploratie door dopamine (NOMAD): implicaties voor gezond ouder worden. Neurowetenschappen en biobeoordelingen. 2010, 34: 660-669. [PubMed]
55. El-Amamy H, Holland PC. Dissocieerbare effecten van het loskoppelen van de centrale kern van amygdala uit het ventrale tegmentale gebied of substantia nigra op geleerde oriëntatie en stimulerende motivatie. Het Europese tijdschrift voor neurowetenschap. 2007, 25: 1557-1567. [PMC gratis artikel] [PubMed]
56. Ettenberg A. Proconentaken van de tegenstander van zelf toegediende cocaïne. Neurowetenschappen en biobeoordelingen. 2004, 27: 721-728. [PubMed]
57. Fadok JP, Dickerson TM, Palmiter RD. Dopamine is nodig voor cue-afhankelijke angstconditionering. J Neurosci. 2009, 29: 11089-11097. [PMC gratis artikel] [PubMed]
58. Fairhall AL, Lewen GD, Bialek W, de Ruyter Van Steveninck RR. Efficiëntie en ambiguïteit in een adaptieve neurale code. Natuur. 2001, 412: 787-792. [PubMed]
59. Faure A, Haberland U, Conde F, El Massioui N. Afwijking van het nigrostriatale dopaminesysteem verstoort de vorming van stimulusresponsievorming. J Neurosci. 2005, 25: 2771-2780. [PubMed]
60. Faure A, Reynolds SM, Richard JM, Berridge KC. Mesolimbische dopamine in verlangen en angst: het mogelijk maken van motivatie door gegeneraliseerde glutamaatverstoringen in de nucleus accumbens. J Neurosci. 2008, 28: 7184-7192. [PMC gratis artikel] [PubMed]
61. Fiorillo CD, Newsome WT, Schultz W. De temporele precisie van beloningsvoorspelling in dopamineneuronen. Nat Neurosci. 2008, 11: 966-973. [PubMed]
62. Fiorillo CD, Tobler PN, Schultz W. Discrete codering van beloningskans en onzekerheid door dopamineneuronen. Wetenschap. 2003, 299: 1898-1902. [PubMed]
63. Floresco SB, Ghods-Sharifi S, Vexelman C, Magyar O. Verbonden rollen voor de kern van nucleus accumbens en schaal bij het reguleren van het schakelen van stelsels. J Neurosci. 2006, 26: 2449-2457. [PubMed]
64. Ford CP, Gantz SC, Phillips PE, Williams JT. Controle van extracellulair dopamine op dendriet en axon terminals. J Neurosci. 2010, 30: 6975-6983. [PMC gratis artikel] [PubMed]
65. Frank MJ. Dynamische dopaminemodulatie in de basale ganglia: een neurocomputationeel verslag van cognitieve stoornissen in gemedicineerd en niet-gemedicineerd parkinsonisme. Journal of cognitive neuroscience. 2005, 17: 51-72. [PubMed]
66. Frank MJ, Fossella JA. Neurogenetica en farmacologie van leren, motivatie en cognitie. Neuropsychopharmacology. 2010 [PMC gratis artikel] [PubMed]
67. Frank MJ, Seeberger LC, O'Reilly RC. Met wortel of stok: cognitieve bekrachtiging van het leren in parkinsonisme. Wetenschap. 2004, 306: 1940-1943. [PubMed]
68. Gallistel CR, Gibbon J. Tijd, snelheid en conditionering. Psychol Rev. 2000; 107: 289-344. [PubMed]
69. Gao DM, Jeaugey L, Pollak P, Benabid AL. Intensiteit-afhankelijke nociceptieve responsen van veronderstelde dopaminergische neuronen van de substantia nigra, pars compacta bij de rat en hun modificatie door inbreng van laterale habenula. Brain Res. 1990, 529: 315-319. [PubMed]
70. Gauriau C, Bernard JF. Pijnbanen en parabrachiale circuits bij de rat. Experimentele fysiologie. 2002, 87: 251-258. [PubMed]
71. Geisler S, Zahm DS. Afferenten van het ventrale tegmentale gebied in het rat-anatomische substraat voor integratieve functies. The Journal of comparative neurology. 2005, 490: 270-294. [PubMed]
72. Gerfen CR, Engber TM, Mahan LC, Susel Z, Chase TN, Monsma FJ, Jr, Sibley DR. D1 en D2 dopamine receptor-gereguleerde genexpressie van striatonigrale en striatopallidal neuronen. Wetenschap. 1990, 250: 1429-1432. [PubMed]
73. Ghods-Sharifi S, Floresco SB. Differentiële effecten op de discontering van de inspanning veroorzaakt door inactivaties van de kern of schelp van de nucleus accumbens. Gedragsneurowetenschappen. 2010, 124: 179-191. [PubMed]
74. Gonon FG. Niet-lineaire relatie tussen impulsstroom en dopamine afgegeven door dopaminerge neuronen van rattenbrein, zoals bestudeerd door in vivo elektrochemie. Neuroscience. 1988, 24: 19-28. [PubMed]
75. Goto Y, Yang CR, Otani S. Functionele en disfunctionele synaptische plasticiteit in prefrontale cortex: rollen in psychiatrische stoornissen. Biologische psychiatrie. 2010, 67: 199-207. [PubMed]
76. Grace AA. Fasische versus tonische dopamine-afgifte en de modulatie van dopamine-systeemresponsiviteit: een hypothese voor de etiologie van schizofrenie. Neuroscience. 1991, 41: 1-24. [PubMed]
77. Grace AA, Bunney BS. Intracellulaire en extracellulaire elektrofysiologie van nigrale dopaminerge neuronen – 1. Identificatie en karakterisering. Neurowetenschappen. 1983; 10: 301-315. [PubMed]
78. Grace AA, Floresco SB, Goto Y, Lodge DJ. Regulatie van het vuren van dopaminerge neuronen en controle van doelgericht gedrag. Trends in neurowetenschappen. 2007, 30: 220-227. [PubMed]
79. Grecksch G, Matties H. De rol van dopaminerge mechanismen in de hippocampus van de rat voor de consolidatie in een helderheidsdiscriminatie. Psychopharmacology (Berl) 1981; 75: 165-168. [PubMed]
80. Guarraci FA, Kapp BS. Een elektrofysiologische karakterisering van de dopaminerge neuronen van het ventrale tegmentale gebied tijdens de differentiële pavloviaire vreesconditionering bij het wakkere konijn. Gedragshers onderzoek. 1999, 99: 169-179. [PubMed]
81. Haber SN, Fudge JL, McFarland NR. Striatonigrostriatale routes in primaten vormen een opgaande spiraal van de schaal naar het dorsolaterale striatum. J Neurosci. 2000, 20: 2369-2382. [PubMed]
82. Hall J, Parkinson JA, Connor TM, Dickinson A, Everitt BJ. Betrokkenheid van de centrale kern van de kern van amygdala en nucleus accumbens bij het bemiddelen van Pavloviaanse invloeden op instrumenteel gedrag. Het Europese tijdschrift voor neurowetenschap. 2001, 13: 1984-1992. [PubMed]
83. Han JS, McMahan RW, Holland P, Gallagher M. De rol van een amygdalo-nigrostriatale route in associatief leren. J Neurosci. 1997, 17: 3913-3919. [PubMed]
84. Harris GC, Aston-Jones G. Opwinding en beloning: een dichotomie in orexine-functie. Trends in neurowetenschappen. 2006, 29: 571-577. [PubMed]
85. Herry C, Bach DR, Esposito F, Di Salle F, Perrig WJ, Scheffler K, Luthi A, Seifritz E. Verwerking van tijdelijke onvoorspelbaarheid bij menselijke en dierlijke amygdala. J Neurosci. 2007, 27: 5958-5966. [PubMed]
86. Hikida T, Kimura K, Wada N, Funabiki K, Nakanishi S. Verschillende rollen van synaptische overdracht in directe en indirecte striatale paden naar beloning en aversief gedrag. Neuron. 2010, 66: 896-907. [PubMed]
87. Hikosaka O. Basale ganglia-mechanismen van beloningsgerichte oogbeweging. Annalen van de New York Academy of Sciences. 2007, 1104: 229-249. [PubMed]
88. Hikosaka O. De habenula: van stressontduiking tot op waarde gebaseerde besluitvorming. Nat Rev Neurosci. 2010, 11: 503-513. [PMC gratis artikel] [PubMed]
89. Hikosaka O, Takikawa Y, Kawagoe R. De rol van de basale ganglia bij de beheersing van doelgerichte saccadische oogbewegingen. Fysiologische beoordelingen. 2000, 80: 953-978. [PubMed]
90. Hitchcott PK, Quinn JJ, Taylor JR. Bidirectionele modulatie van doelgerichte acties door prefrontale corticale dopamine. Cereb Cortex. 2007, 17: 2820-2827. [PubMed]
91. Hnasko TS, Chuhma N, Zhang H, Goh GY, Sulzer D, Palmiter RD, Rayport S, Edwards RH. Vesiculair glutamaattransport bevordert dopamineopslag en glutamaatcorelease in vivo. Neuron. 2010, 65: 643-656. [PMC gratis artikel] [PubMed]
92. Holland PC, Gallagher M. Amygdala-schakelingen in aandachts- en representatieprocessen. Trends in cognitieve wetenschappen. 1999, 3: 65-73. [PubMed]
93. Hollerman JR, Schultz W. Dopamine neuronen melden een fout in de temporele voorspelling van beloning tijdens het leren. Nat Neurosci. 1998, 1: 304-309. [PubMed]
94. Holroyd CB, Coles MG. De neurale basis van menselijke foutverwerking: versterking van leren, dopamine en de foutgerelateerde negativiteit. Psychol Rev. 2002; 109: 679-709. [PubMed]
95. Hong S, Hikosaka O. De globus pallidus verzendt beloningsgerelateerde signalen naar de laterale habenula. Neuron. 2008, 60: 720-729. [PMC gratis artikel] [PubMed]
96. Horvitz JC. Mesolimbocorticale en nigrostriatale dopaminereacties op opvallende niet-beloningsgebeurtenissen. Neuroscience. 2000, 96: 651-656. [PubMed]
97. Horvitz JC, Stewart T, Jacobs BL. Burst-activiteit van ventrale tegmentale dopamine-neuronen wordt opgewekt door sensorische stimuli bij de wakkere kat. Brain Res. 1997, 759: 251-258. [PubMed]
98. Houk JC, Adams JL, Barto AG. Een model van hoe de basale ganglia neurale signalen genereren en voorspellen die wapening voorspellen. In: Houk JC, Davis JL, Beiser DG, redacteuren. Modellen van informatieverwerking in de basale ganglia. Cambridge, MA: MIT Press; 1995. pp. 249-274.
99. Ikemoto S. Brain-beloningscircuit voorbij het mesolimbische dopaminesysteem: een neurobiologische theorie. Neurowetenschappen en biobeoordelingen. 2010 [PMC gratis artikel] [PubMed]
100. Ito R, Dalley JW, Howes SR, Robbins TW, Everitt BJ. Dissociatie in geconditioneerde dopamine-afgifte in de kern van Nucleus Accumbens en Shell als reactie op cocaïnekleurstoffen en tijdens cocaïneachtig gedrag bij ratten. J Neurosci. 2000, 20: 7489-7495. [PubMed]
101. Ivlieva NY, Timofeeva NO. Neuronactiviteit in de pedunculopontinekern tijdens een voedselgerelateerde operante geconditioneerde reflex. Neuroscience and Behavioral Physiology. 2003a; 33: 919-928. [PubMed]
102. Ivlieva NY, Timofeeva NO. Neuronactiviteit in de pedunculopontinekern tijdens een operante geconditioneerde reflex. Neuroscience and Behavioral Physiology. 2003b; 33: 499-506. [PubMed]
103. Jalabert M, Aston-Jones G, Herzog E, Manzoni O, Georges F.Rol van de bedkern van de stria-terminalis bij de controle van dopamine-neuronen in het ventrale tegmentale gebied. Vooruitgang in neuro-psychofarmacologie en biologische psychiatrie. 2009; 33: 1336-1346. [PMC gratis artikel] [PubMed]
104. Jeanblanc J, Hoeltzel A, Louilot A. Dissociatie in de betrokkenheid van dopaminerge neuronen die de kern- en schil-subregio's van de nucleus accumbens innerveren in latente remming en affectieve perceptie. Neuroscience. 2002, 111: 315-323. [PubMed]
105. Jensen J, Smith AJ, Willeit M, Crawley AP, Mikulis DJ, Vitcu I, Kapur S. Afzonderlijke hersenregio's coderen voor salience vs. valentie tijdens beloningsvoorspelling bij mensen. Menselijke hersenen in kaart brengen. 2007, 28: 294-302. [PubMed]
106. Jhou TC, Fields HL, Baxter MG, Saper CB, Holland PC. De rostromediale tegmentale kern (RMTg), een GABAergische afferent van de dopamineneuronen van de middenhersenen, codeert voor aversieve stimuli en remt motorische reacties. Neuron. 2009a; 61: 786-800. [PMC gratis artikel] [PubMed]
107. Jhou TC, Geisler S, Marinelli M, Degarmo BA, Zahm DS. De mesopontine rostromediale tegmentale kern: een structuur die wordt beoogd door de laterale habenula die naar het ventrale tegmentale gebied van Tsai en substantia nigra compacta projecteert. The Journal of comparative neurology. 2009b; 513: 566-596. [PMC gratis artikel] [PubMed]
108. Ji H, Shepard PD. Laterale habenula-stimulatie remt de dopamineneuronen van de rattenbreinhormonen door een GABA (A) receptor-gemedieerd mechanisme. J Neurosci. 2007, 27: 6923-6930. [PubMed]
109. Jin X, Costa RM. Start / stop-signalen komen tevoorschijn in nigrostriatale circuits tijdens sequentieleren. Natuur. 2010, 466: 457-462. [PMC gratis artikel] [PubMed]
110. Johansen JP, Fields HL. Glutamaterge activering van de anterior cingulate cortex produceert een negatief lerend signaal. Nat Neurosci. 2004, 7: 398-403. [PubMed]
111. Joseph MH, Datla K, Young AM. De interpretatie van de meting van nucleus accumbens dopamine door in vivo dialyse: de kick, de craving of de cognitie? Neurowetenschappen en biobeoordelingen. 2003, 27: 527-541. [PubMed]
112. Joshua M, Adler A, Bergman H. De dynamiek van dopamine bij het beheersen van motorisch gedrag. Huidige opinie over neurobiologie. 2009a; 19: 615-620. [PubMed]
113. Joshua M, Adler A, Mitelman R, Vaadia E, Bergman H. Midbrain dopaminerge neuronen en striatale cholinerge interneuronen coderen het verschil tussen beloning en aversieve gebeurtenissen in verschillende tijdperken van probabilistische klassieke conditioneringsonderzoeken. J Neurosci. 2008, 28: 11673-11684. [PubMed]
114. Joshua M, Adler A, Prut Y, Vaadia E, Wickens JR, Bergman H. Synchronisatie van dopaminerge neuronen in de hersenen is verbeterd door evenementen te belonen. Neuron. 2009b; 62: 695-704. [PubMed]
115. Kable JW, Glimcher PW. De neurobiologie van de beslissing: consensus en controverse. Neuron. 2009, 63: 733-745. [PMC gratis artikel] [PubMed]
116. Kakade S, Dayan P. Dopamine: generalisatie en bonussen. Neurale netwerken. 2002, 15: 549-559. [PubMed]
117. Kapur S. Psychose als een toestand van afwijkende opvallendheid: een raamwerk dat biologie, fenomenologie en farmacologie koppelt aan schizofrenie. Het Amerikaanse tijdschrift voor psychiatrie. 2003, 160: 13-23. [PubMed]
118. Kaufling J, Veinante P, Pawlowski SA, Freund-Mercier MJ, Barrot M. Afferenten voor de GABAergic-staart van het ventrale tegmentale gebied bij de rat. The Journal of comparative neurology. 2009, 513: 597-621. [PubMed]
119. Kennerley SW, JD Wallis. Keuzes evalueren met afzonderlijke neuronen in de frontale kwab: uitkomstwaarde gecodeerd over meerdere beslissingsvariabelen. Het Europese tijdschrift voor neurowetenschap. 2009, 29: 2061-2073. [PMC gratis artikel] [PubMed]
120. Kim H, Sul JH, Huh N, Lee D, Jung MW. De rol van striatum bij het actualiseren van waarden van gekozen acties. J Neurosci. 2009, 29: 14701-14712. [PubMed]
121. Kiyatkin EA. Functionele eigenschappen van veronderstelde dopamine-bevattende en andere ventrale tegmentale gebied-neuronen bij bewuste ratten. Int J Neurosci. 1988a; 42: 21-43. [PubMed]
122. Kiyatkin EA. Morfine-geïnduceerde modificatie van de functionele eigenschappen van ventrale tegmentale gebied-neuronen bij de bewuste rat. Intern J Neuroscience. 1988b; 41: 57-70. [PubMed]
123. Klingberg T. Training en plasticiteit van werkgeheugen. Trends in cognitieve wetenschappen. 2010, 14: 317-324. [PubMed]
124. Kobayashi S, Nomoto K, Watanabe M, Hikosaka O, Schultz W, Sakagami M. Invloeden van belonende en aversieve uitkomsten voor de activiteit in de puqueale laterale prefrontale cortex. Neuron. 2006, 51: 861-870. [PubMed]
125. Kobayashi S, Schultz W. Invloed van beloningsvertragingen op reacties van dopamine-neuronen. J Neurosci. 2008, 28: 7837-7846. [PMC gratis artikel] [PubMed]
126. Kobayashi Y, Inoue Y, Yamamoto M, Isa T, Aizawa H. Bijdrage van pedunculopontine tegmentale nucleusneuronen aan de uitvoering van visueel geleide saccadetaken bij apen. J Neurophysiol. 2002, 88: 715-731. [PubMed]
127. Koyama T, Tanaka YZ, Mikami A. Nociceptieve neuronen in het makaken anterieure cingulaat activeren tijdens anticipatie op pijn. NeuroReport. 1998, 9: 2663-2667. [PubMed]
128. Kravitz AV, Freeze BS, Parker PR, Kay K, Thwin MT, Deisseroth K, Kreitzer AC. Regulatie van motorisch gedrag van de motorinson door optogenetische controle van basale ganglia-circuits. Natuur. 2010 [PMC gratis artikel] [PubMed]
129. Lammel S, Hetzel A, Hackel O, Jones I, Liss B, Roeper J. Unieke eigenschappen van mesoprefrontale neuronen binnen een tweevoudig mesocorticolimbisch dopaminesysteem. Neuron. 2008, 57: 760-773. [PubMed]
130. Lang PJ, Davis M. Emotie, motivatie en het brein: reflexstichtingen bij dierlijk en menselijk onderzoek. Vooruitgang in hersenonderzoek. 2006, 156: 3-29. [PubMed]
131. Lapish CC, Kroener S, Durstewitz D, Lavin A, Seamans JK. Het vermogen van het mesocorticale dopaminesysteem om op verschillende tijdelijke wijzen te werken. Psychopharmacology (Berl) 2007; 191: 609-625. [PubMed]
132. Lee D, Seo H. Mechanismen van versterkingsleren en besluitvorming in de dorsolaterale prefrontale cortex van de primaat. Annalen van de New York Academy of Sciences. 2007, 1104: 108-122. [PubMed]
133. Lee HJ, Groshek F, Petrovich GD, Cantalini JP, Gallagher M, Holland PC. De rol van amygdalo-nigrale circuits bij de conditionering van een visuele stimulus gecombineerd met voedsel. J Neurosci. 2005, 25: 3881-3888. [PMC gratis artikel] [PubMed]
134. Levita L, Dalley JW, Robbins TW. Nucleus accumbens dopamine en aangeleerde angst herzien: een overzicht en enkele nieuwe bevindingen. Gedragshers onderzoek. 2002, 137: 115-127. [PubMed]
135. Lin SC, Nicolelis MA. Neuronaal ensemble dat in de basale voorhersenen barst, codeert voor salience, ongeacht Valence. Neuron. 2008, 59: 138-149. [PMC gratis artikel] [PubMed]
136. Lisman JE, Grace AA. De hippocampus-VTA-lus: controle van de invoer van informatie in langetermijngeheugen. Neuron. 2005, 46: 703-713. [PubMed]
137. Litt A, Plassmann H, Shiv B, Rangel A. Afwijkende waarderings- en opvoedingssignalen tijdens de besluitvorming. Cereb Cortex. 2010 in de pers. [PubMed]
138. Liu Z, Richmond BJ, Murray EA, Saunders RC, Steenrod S, Stubblefield BK, Montague DM, Ginns EI. DNA-targeting van D2-receptoreiwit van de rhinale cortex blokkeert reversibel het leren van signalen die beloning voorspellen. Proceedings van de National Academy of Sciences in de Verenigde Staten van Amerika. 2004, 101: 12336-12341. [PMC gratis artikel] [PubMed]
139. Liu ZH, Shin R, Ikemoto S. Dubbele rol van mediale A10 dopamine-neuronen in affectieve codering. Neuropsychopharmacology. 2008, 33: 3010-3020. [PMC gratis artikel] [PubMed]
140. Ljungberg T, Apicella P, Schultz W. Antwoorden van dopamine-neuronen bij het leren van gedragsreacties. J Neurophysiol. 1992, 67: 145-163. [PubMed]
141. Lobo MK, Covington HE, 3rd, Chaudhury D, Friedman AK, Sun H, Damez-Werno D, Dietz DM, Zaman S, Koo JW, Kennedy PJ, et al. Celtype-specifiek verlies van BDNF-signalering bootst optogenetische controle van cocaïnebeloning na. Wetenschap. 2010, 330: 385-390. [PMC gratis artikel] [PubMed]
142. Maeda H, Mogenson GJ. Effecten van perifere stimulatie op de activiteit van neuronen in het ventrale tegmentale gebied, substantia nigra en midbrain reticulaire vorming van ratten. Brain research bulletin. 1982, 8: 7-14. [PubMed]
143. Mantz J, Thierry AM, Glowinski J. Effect van schadelijk staartknijpen op de ontladingssnelheid van mesocorticale en mesolimbische dopamine-neuronen: selectieve activering van het mesocorticale systeem. Brain Res. 1989, 476: 377-381. [PubMed]
144. Margolis EB, Lock H, Hjelmstad GO, Fields HL. Het ventrale tegmentale gebied opnieuw bezocht: is er een elektrofysiologische marker voor dopaminerge neuronen? The Journal of physiology. 2006, 577: 907-924. [PMC gratis artikel] [PubMed]
145. Margolis EB, Mitchell JM, Ishikawa J, Hjelmstad GO, Fields HL. Mid-brein dopamine neuronen: projectiedoel bepaalt actiepotentieduur en dopamine D (2) receptorremming. J Neurosci. 2008, 28: 8908-8913. [PubMed]
146. Mark GP, Blander DS, Hoebel BG. Een geconditioneerde stimulus vermindert extracellulair dopamine in de nucleus accumbens na de ontwikkeling van een aangeleerde smaakaversie. Brain Res. 1991, 551: 308-310. [PubMed]
147. Marowsky A, Yanagawa Y, Obata K, Vogt KE. Een gespecialiseerde subklasse van interneuronen bemiddelt bij dopaminerge facilitatie van de amygdala-functie. Neuron. 2005, 48: 1025-1037. [PubMed]
148. Matsumoto M, Hikosaka O. Laterale habenula als een bron van negatieve beloningssignalen in dopamine-neuronen. Natuur. 2007, 447: 1111-1115. [PubMed]
149. Matsumoto M, Hikosaka O. Vertegenwoordiging van negatieve motivatiewaarde in de laterale habenula van de primaat. Nat Neurosci. 2009a; 12: 77-84. [PMC gratis artikel] [PubMed]
150. Matsumoto M, Hikosaka O. Twee soorten dopamine-neuronen brengen duidelijk positieve en negatieve motivatiesignalen over. Natuur. 2009b; 459: 837-841. [PMC gratis artikel] [PubMed]
151. Matsumoto M, Matsumoto K, Abe H, Tanaka K. Mediane prefrontale celactiviteit signaleert voorspellingsfouten van actiewaarden. Nat Neurosci. 2007, 10: 647-656. [PubMed]
152. May PJ, McHaffie JG, Stanford TR, Jiang H, Costello MG, Coizet V, Hayes LM, Haber SN, Redgrave P. Tectonigrale projecties in de primaat: een pad voor pre-attente sensorische input voor dopaminerge neuronen van de middenbot. Het Europese tijdschrift voor neurowetenschap. 2009, 29: 575-587. [PMC gratis artikel] [PubMed]
153. Mazzoni P, Hristova A, Krakauer JW. Waarom gaan we niet sneller? Ziekte van Parkinson, bewegingskracht en impliciete motivatie. J Neurosci. 2007; 27: 7105-7116. [PubMed]
154. Merali Z, Michaud D, McIntosh J, Kent P, Anisman H.Differentiële betrokkenheid van amygdaloïde CRH-systeem (en) bij de saillantie en valentie van de stimuli. Vooruitgang in neuro-psychofarmacologie en biologische psychiatrie. 2003; 27: 1201-1212. [PubMed]
155. Mirenowicz J, Schultz W. Preferentiële activatie van dopamineneuronen van de middenhersenen door eerder dan door aversieve stimuli. Natuur. 1996, 379: 449-451. [PubMed]
156. Molina-Luna K, Pekanovic A, Rohrich S, Hertler B, Schubring-Giese M, Rioult-Pedotti MS, Luft AR. Dopamine in de motorische cortex is noodzakelijk voor het aanleren van vaardigheden en synaptische plasticiteit. PLoS ONE. 2009, 4: e7082. [PMC gratis artikel] [PubMed]
157. Montague PR, Berns GS. Neurale economie en de biologische substraten van waardering. Neuron. 2002, 36: 265-284. [PubMed]
158. Montague PR, Dayan P, Sejnowski TJ. Een raamwerk voor mesencefale dopamine-systemen op basis van voorspellend Hebbian-leren. J Neurosci. 1996, 16: 1936-1947. [PubMed]
159. Morris G, Arkadir D, Nevet A, Vaadia E, Bergman H. Gelijktijdige maar verschillende boodschappen van dopamine en striatale tonisch actieve neuronen van de middenhersenen. Neuron. 2004, 43: 133-143. [PubMed]
160. Morris G, Nevet A, Arkadir D, Vaadia E, Bergman H. Midnight dopamine-neuronen coderen beslissingen voor toekomstige actie. Nat Neurosci. 2006, 9: 1057-1063. [PubMed]
161. Morrison SE, Salzman CD. De convergentie van informatie over belonende en aversieve stimuli in enkele neuronen. J Neurosci. 2009, 29: 11471-11483. [PMC gratis artikel] [PubMed]
162. Nakahara H, Itoh H, Kawagoe R, Takikawa Y, Hikosaka O. Dopamine-neuronen kunnen een contextafhankelijke voorspellingsfout vertegenwoordigen. Neuron. 2004, 41: 269-280. [PubMed]
163. Nakamura K, Hikosaka O. De rol van dopamine in de primaat-caudaatkern bij beloningsmodulatie van saccades. J Neurosci. 2006, 26: 5360-5369. [PubMed]
164. Neve KA, Seamans JK, Trantham-Davidson H. Dopamine receptor signalering. Journal of receptor and signal transduction research. 2004, 24: 165-205. [PubMed]
165. Nishijo H, Ono T, Nishino H. Enkelvoudige neuronresponsen in amygdala van een alerte aap tijdens complexe sensorische stimulatie met affectieve significantie. J Neurosci. 1988, 8: 3570-3583. [PubMed]
166. Niv Y, Daw ND, Joel D, dayan P. Tonic dopamine: opportunity costs en de beheersing van de reactievermogen. Psychopharmacology. 2007, 191: 507-520. [PubMed]
167. Nomoto K, Schultz W, Watanabe T, Sakagami M. Tijdelijk verlengde dopamine-responsen op perceptueel veeleisende beloningsvoorspellende stimuli. J Neurosci. 2010, 30: 10692-10702. [PMC gratis artikel] [PubMed]
168. Okada K, Toyama K, Inoue Y, Isa T, Kobayashi Y. Verschillende pedunculopontine tegmentale neuronen signaal voorspeld en feitelijke taakbeloningen. J Neurosci. 2009, 29: 4858-4870. [PubMed]
169. Omelchenko N, Bell R, Sesack SR. Laterale habenula projecties naar dopamine en GABA neuronen in het ventrale tegmentale gebied van de rat. Het Europese tijdschrift voor neurowetenschap. 2009, 30: 1239-1250. [PMC gratis artikel] [PubMed]
170. Owesson-White CA, Ariansen J, Stuber GD, Cleaveland NA, Cheer JF, Wightman RM, Carelli RM. Neurale codering van cocaïne-zoekgedrag valt samen met fasische dopamine-afgifte in de accumbens-kern en de schaal. Het Europese tijdschrift voor neurowetenschap. 2009, 30: 1117-1127. [PMC gratis artikel] [PubMed]
171. Oyama K, Hernadi I, Iijima T, Tsutsui K. Beloning voorspelling foutcodering in dorsale striatale neuronen. J Neurosci. 2010, 30: 11447-11457. [PubMed]
172. Packard MG, White NM. Dissociatie van hippocampus en caudate nucleus geheugensystemen door intracerebrale injectie van dopamine-agonisten na de training. Gedragsneurowetenschappen. 1991, 105: 295-306. [PubMed]
173. Padoa-Schioppa C. Orbitofrontale cortex en de berekening van economische waarde. Annalen van de New York Academy of Sciences. 2007, 1121: 232-253. [PubMed]
174. Palmiter RD. Dopamine signalering in het dorsale striatum is essentieel voor gemotiveerd gedrag: lessen van dopamine-deficiënte muizen. Annalen van de New York Academy of Sciences. 2008, 1129: 35-46. [PMC gratis artikel] [PubMed]
175. Pan WX, Hyland BI. Pedunculopontine tegmentale nucleus regelt geconditioneerde responsen van dopamineneuronen van de middenhersenen bij gedragende ratten. J Neurosci. 2005, 25: 4725-4732. [PubMed]
176. Pan WX, Schmidt R, Wickens JR, Hyland BI. Tripartiet mechanisme van extinctie gesuggereerd door dopamine neuronactiviteit en temporeel verschilmodel. J Neurosci. 2008, 28: 9619-9631. [PubMed]
177. Parker JG, Zweifel LS, Clark JJ, Evans SB, Phillips PE, Palmiter RD. Afwezigheid van NMDA-receptoren in dopamine-neuronen verzwakt dopamine-afgifte, maar niet geconditioneerde benadering tijdens conditionering met Pavlovian. Proceedings van de National Academy of Sciences in de Verenigde Staten van Amerika. 2010 [PMC gratis artikel] [PubMed]
178. Pascoe JP, Kapp BS. Elektrofysiologische kenmerken van amygdaloid centrale nucleusneuronen tijdens Pavlovian vreesconditionering bij het konijn. Gedragshers onderzoek. 1985, 16: 117-133. [PubMed]
179. Pascucci T, Ventura R, Latagliata EC, Cabib S, Puglisi-Allegra S. De mediale prefrontale cortex bepaalt de accumbens dopamine-respons op stress door de tegengestelde invloeden van norepinephrine en dopamine. Cereb Cortex. 2007, 17: 2796-2804. [PubMed]
180. Pearce JM, Hall G. Een model voor Pavloviaans leren: variaties in de effectiviteit van geconditioneerde maar niet van ongeconditioneerde stimuli. Psychol Rev. 1980; 87: 532-552. [PubMed]
181. Pezze MA, Feldon J. Mesolimbic-dopaminerge paden in angstconditionering. Vooruitgang in de neurobiologie. 2004, 74: 301-320. [PubMed]
182. Phillips AG, Ahn S, Howland JG. Amygdalar-controle van het mesocorticolimbische dopaminesysteem: parallelle paden naar gemotiveerd gedrag. Neurowetenschappen en biobeoordelingen. 2003a; 27: 543-554. [PubMed]
183. Phillips GD, Salussolia E, Hitchcott PK. De rol van de mesoamygdaloid dopamine-projectie bij emotioneel leren. Psychopharmacology. 2010 [PubMed]
184. Phillips PE, Stuber GD, Heien ML, Wightman RM, Carelli RM. Subsecon dopamine-afgifte bevordert het zoeken naar cocaïne. Natuur. 2003b; 422: 614-618. [PubMed]
185. Porrino LJ, Goldman-Rakic ​​PS. Hersenstam-innervatie van prefrontale en anterieure cingulate cortex in de rhesus-aap, onthuld door retrograde transport van HRP. The Journal of comparative neurology. 1982, 205: 63-76. [PubMed]
186. Puryear CB, Kim MJ, Mizumori SJ. Conjunctieve codering van beweging en beloning door ventrale tegmentale gebiedsneuronen in het vrij navigerende knaagdier. Gedragsneurowetenschappen. 2010, 124: 234-247. [PMC gratis artikel] [PubMed]
187. Ravel S, Legallet E, Apicella P. Tonisch actieve neuronen in het striatum van de aap reageren niet bij voorkeur op appetijtelijke stimuli. Experimenteel hersenonderzoek. Experimentelle Hirnforschung. 1999, 128: 531-534. [PubMed]
188. Ravel S, Legallet E, Apicella P. Antwoorden van tonisch actieve neuronen in het striatum van de aap maken onderscheid tussen motivatief tegenovergestelde stimuli. J Neurosci. 2003, 23: 8489-8497. [PubMed]
189. Ravel S, Richmond BJ. Dopamine-neuronale reacties bij apen die visueel afgeleide beloningsschema's uitvoeren. Het Europese tijdschrift voor neurowetenschap. 2006, 24: 277-290. [PubMed]
190. Redgrave P, Gurney K. Het dopamine-signaal met korte latentie: een rol bij het ontdekken van nieuwe acties? Nat Rev Neurosci. 2006, 7: 967-975. [PubMed]
191. Redgrave P, Prescott TJ, Gurney K. Is de dopamine-reactie met korte latentie te kort om een ​​beloningsfout aan te geven? Trends in neurowetenschappen. 1999, 12: 146-151. [PubMed]
192. Rescorla RA, Wagner AR. Een theorie van pavloviaanse conditionering: variaties in de effectiviteit van wapening en versteviging. In: Black AH, Prokasy WF, editors. Classical Conditioning II: Current Research and Theory. New York, New York: Appleton Century Crofts; 1972. pp. 64-99.
193. Reynolds JNJ, Hyland BI, Wickens JR. Een cellulair mechanisme van beloningsgerelateerd leren. Natuur. 2001, 413: 67-70. [PubMed]
194. Reynolds SM, Berridge KC. Positieve en negatieve motivatie in de nucleus accumbens-schaal: bivalente rostrocaudale gradiënten voor door GABA uitgelokt eten, smaak "leuk" / "afkeer" -reacties, plaatsvoorkeur / vermijding en angst. J Neurosci. 2002; 22: 7308-7320. [PubMed]
195. Richardson RT, DeLong MR. Elektrofysiologische studies van de functies van de nucleus basalis bij primaten. Vooruitgang in de experimentele geneeskunde en biologie. 1991, 295: 233-252. [PubMed]
196. Robbins TW, Arnsten AF. De neuropsychofarmacologie van de fronto-executive functie: monoaminerge modulatie. Jaaroverzicht van de neurowetenschap. 2009, 32: 267-287. [PMC gratis artikel] [PubMed]
197. Robinson DL, Hermans A, Seipel AT, Wightman RM. Monitoring van snelle chemische communicatie in de hersenen. Chemische beoordelingen. 2008, 108: 2554-2584. [PMC gratis artikel] [PubMed]
198. Roesch MR, Calu DJ, Schoenbaum G. Dopamine-neuronen coderen voor de betere optie bij ratten die tussen verschillende vertraagde of gedimensioneerde beloningen kiezen. Nat Neurosci. 2007, 10: 1615-1624. [PMC gratis artikel] [PubMed]
199. Roesch MR, Olson CR. Neuronale activiteit gerelateerd aan beloningswaarde en motivatie in de frontale cortex van de primaat. Wetenschap. 2004, 304: 307-310. [PubMed]
200. Roitman MF, Wheeler RA, Wightman RM, Carelli RM. Realtime chemische reacties in de nucleus accumbens differentiëren belonende en aversieve stimuli. Nat Neurosci. 2008, 11: 1376-1377. [PMC gratis artikel] [PubMed]
201. Rutledge RB, Lazzaro SC, Lau B, Myers CE, Gluck MA, Glimcher PW. Dopaminerge geneesmiddelen moduleren leerpercentages en doorzettingsvermogen bij Parkinson-patiënten in een dynamische foerageertaak. J Neurosci. 2009; 29: 15104-15114. [PMC gratis artikel] [PubMed]
202. Salamone JD. De betrokkenheid van nucleus accumbens dopamine bij een appetijtelijke en aversieve motivatie. Gedragshers onderzoek. 1994, 61: 117-133. [PubMed]
203. Salamone JD, Correa M, Farrar A, Mingote SM. Inspanningsgerelateerde functies van nucleus accumbens dopamine en geassocieerde forebrain-circuits. Psychopharmacology (Berl) 2007; 191: 461-482. [PubMed]
204. Satoh T, Nakai S, Sato T, Kimura M. Gecorreleerde codering van motivatie en uitkomst van beslissing door dopamineneuronen. J Neurosci. 2003, 23: 9913-9923. [PubMed]
205. Savine AC, Beck SM, Edwards BG, Chiew KS, Braver TS. Verbetering van cognitieve controle door motiverende toestanden van benaderen en vermijden. Cognitie en emotie. 2010; 24: 338-356. [PMC gratis artikel] [PubMed]
206. Schoenbaum G, Roesch MR, Stalnaker TA, Takahashi YK. Een nieuw perspectief op de rol van de orbitofrontale cortex in adaptief gedrag. Nat Rev Neurosci. 2009, 10: 885-892. [PMC gratis artikel] [PubMed]
207. Schultz W. Antwoorden van dopamineneuronen van de middenhersenen op gedragstriggers in de aap. J Neurophysiol. 1986, 56: 1439-1461. [PubMed]
208. Schultz W. Voorspellend beloningssignaal van dopamine-neuronen. J Neurophysiol. 1998, 80: 1-27. [PubMed]
209. Schultz W. Meerdere dopaminefuncties op verschillende tijdvakken. Jaaroverzicht van de neurowetenschap. 2007, 30: 259-288. [PubMed]
210. Schultz W. Dopamine signalen voor beloningswaarde en risico: basis en recente gegevens. Gedrag Brain Funct. 2010, 6: 24. [PMC gratis artikel] [PubMed]
211. Schultz W, Dayan P, Montague PR. Een neuraal substraat van voorspelling en beloning. Wetenschap. 1997, 275: 1593-1599. [PubMed]
212. Schultz W, Romo R. Antwoorden van nigrostriatale dopamine-neuronen op somatosensorische stimulatie met hoge intensiteit bij de geanesthetiseerde aap. J Neurophysiol. 1987, 57: 201-217. [PubMed]
213. Schultz W, Romo R. Dopamine neuronen van de aap-middenhersenen: onvoorziene reacties op stimuli die onmiddellijke gedragsreacties opwekken. J Neurophysiol. 1990, 63: 607-624. [PubMed]
214. Seo H, Lee D. Temporele filtering van beloning signalen in de dorsale anterior cingulate cortex tijdens een mixed-strategy game. J Neurosci. 2007, 27: 8366-8377. [PMC gratis artikel] [PubMed]
215. Shabel SJ, Janak PH. Aanzienlijke gelijkenis in amygdala neuronale activiteit tijdens geconditioneerde appetijtelijke en aversieve emotionele opwinding. Proceedings van de National Academy of Sciences in de Verenigde Staten van Amerika. 2009, 106: 15031-15036. [PMC gratis artikel] [PubMed]
216. Shadmehr R, Smith MA, Krakauer JW. Foutcorrectie, sensorische voorspelling en aanpassing in motorbesturing. Jaaroverzicht van de neurowetenschap. 2010 [PubMed]
217. Shen W, Flajolet M, Greengard P, Surmeier DJ. Dichotome dopaminerge controle van striatale synaptische plasticiteit. Wetenschap. 2008, 321: 848-851. [PMC gratis artikel] [PubMed]
218. Shimo Y, Wichmann T. Neuronale activiteit in de nucleus subthalamicus moduleert de afgifte van dopamine in het striatum van de aap. Het Europese tijdschrift voor neurowetenschap. 2009, 29: 104-113. [PMC gratis artikel] [PubMed]
219. Shippenberg TS, Bals-Kubik R, Huber A, Herz A. Neuro-anatomische substraten die de aversieve effecten van D-1-dopaminereceptorantagonisten mediëren. Psychopharmacology (Berl) 1991; 103: 209-214. [PubMed]
220. Shumake J, Ilango A, Scheich H, Wetzel W, Ohl FW. Differentiële neuromodulatie van acquisitie en terughalen van vermijdingsleren door de laterale habenula en het ventrale tegmentale gebied. J Neurosci. 2010, 30: 5876-5883. [PubMed]
221. Small DM, Gregory MD, Mak YE, Gitelman D, Mesulam MM, Parrish T. Dissociation of neural representation of intensity and affective valuation in human gustation. Neuron. 2003, 39: 701-711. [PubMed]
222. Stefani MR, Moghaddam B. Regelmatig leren en belonen van onvoorziene omstandigheden zijn geassocieerd met dissocieerbare patronen van dopamine-activering in de prefrontale cortex van de rat, nucleus accumbens en dorsale striatum. J Neurosci. 2006, 26: 8810-8818. [PMC gratis artikel] [PubMed]
223. Steinfels GF, Heym J, Strecker RE, Jacobs BL. Reactie van dopaminerge neuronen in de kat op auditieve stimuli gepresenteerd tijdens de slaap-waak cyclus. Brain Res. 1983, 277: 150-154. [PubMed]
224. Strecker RE, Jacobs BL. Substantia nigra dopaminerge eenheid-activiteit bij gedragende katten: effect van opwinding op spontane ontlading en sensorische opgewekte activiteit. Brain Res. 1985, 361: 339-350. [PubMed]
225. Stuber GD, Hnasko TS, Britt JP, Edwards RH, Bonci A. Dopaminergische terminals in de nucleus accumbens maar niet dorsale striatum corelease glutamaat. Journal of Neuroscience. 2010, 30: 8229-8233. [PMC gratis artikel] [PubMed]
226. Stuber GD, Wightman RM, Carelli RM. Extinctie van cocaïne zelftoediening onthult functioneel en temporeel verschillende dopaminerge signalen in de nucleus accumbens. Neuron. 2005, 46: 661-669. [PubMed]
227. Sul JH, Kim H, Huh N, Lee D, Jung MW. Verschillende rollen van knaagdier orbitofrontale en mediale prefrontale cortex bij de besluitvorming. Neuron. 2010, 66: 449-460. [PMC gratis artikel] [PubMed]
228. Surmeier DJ, Ding J, Day M, Wang Z, Shen W. D1 en D2 dopamine-receptor modulatie van striatale glutamaterge signalering in striatum middelgrote stekelige neuronen. Trends in neurowetenschappen. 2007, 30: 228-235. [PubMed]
229. Surmeier DJ, Shen W, Day M, Gertler T, Chan S, Tian X, Plotkin JL. De rol van dopamine bij het moduleren van de structuur en functie van striatale circuits. Vooruitgang in hersenonderzoek. 2010; 183C: 148-167. [PubMed]
230. Sutton RS, Barto AG. Op weg naar een moderne theorie van adaptieve netwerken: verwachting en voorspelling. Psychol Rev. 1981; 88: 135-170. [PubMed]
231. Takahashi YK, Roesch MR, Stalnaker TA, Haney RZ, Calu DJ, Taylor AR, Burke KA, Schoenbaum G. De orbitofrontale cortex en het ventrale tegmentale gebied zijn noodzakelijk om te leren van onverwachte uitkomsten. Neuron. 2009, 62: 269-280. [PMC gratis artikel] [PubMed]
232. Takikawa Y, Kawagoe R, Hikosaka O. Een mogelijke rol van dopamineneuronen in de hersenen bij de korte- en langetermijnaanpassing van saccades naar position-reward mapping. J Neurophysiol. 2004, 92: 2520-2529. [PubMed]
233. Tecuapetla F, Patel JC, Xenias H, Engels D, Tadros I, Shah F, Berlijn J, Deisseroth K, Rice ME, Tepper JM, Koos T. Glutamatergische signalering door mesolimbische dopamine-neuronen in de nucleus accumbens. J Neurosci. 2010, 30: 7105-7110. [PMC gratis artikel] [PubMed]
234. Thierry AM, Tassin JP, Blanc G, Glowinski J. Selectieve activering van het mesocorticale DA-systeem door stress. Natuur. 1976, 263: 242-244. [PubMed]
235. Tobler PN, Dickinson A, Schultz W. Codering van Voorspelde Reward-weglating door Dopamine-neuronen in een geconditioneerd inhibitieparadigma. J Neurosci. 2003, 23: 10402-10410. [PubMed]
236. Tobler PN, Fiorillo CD, Schultz W. Adaptieve codering van beloningswaarde door dopamineneuronen. Wetenschap. 2005, 307: 1642-1645. [PubMed]
237. Tsai HC, Zhang F, Adamantidis A, Stuber GD, Bonci A, de Lecea L, Deisseroth K. Phasic Firing in Dopaminergic Neurons is voldoende voor gedragsverandering. Wetenschap. 2009 [PubMed]
238. Ullsperger M. Genetische associatiestudies van prestatiemonitoring en leren van feedback: de rol van dopamine en serotonine. Neurowetenschappen en biobeoordelingen. 2010, 34: 649-659. [PubMed]
239. Ungless MA. Dopamine: het meest opvallende probleem. Trends in neurowetenschappen. 2004, 27: 702-706. [PubMed]
240. Uylings HB, Groenewegen HJ, Kolb B. Hebben ratten een prefrontale cortex? Gedragshers onderzoek. 2003, 146: 3-17. [PubMed]
241. Ventura R, Cabib S, Puglisi-Allegra S. Tegenovergestelde genotype-afhankelijke mesocorticolimbische dopamine-respons op stress. Neuroscience. 2001, 104: 627-631. [PubMed]
242. Ventura R, Latagliata EC, Morrone C, La Mela I, Puglisi-Allegra S. Prefrontale norepinephrine bepaalt de toekenning van "hoge" motiverende saillantie. PLoS ONE. 2008; 3: e3044. [PMC gratis artikel] [PubMed]
243. Ventura R, Morrone C, Puglisi-Allegra S. Prefrontaal / accumaal catecholamine-systeem bepaalt de motiverende waardering van salience voor zowel beloning- als aversiegerelateerde stimuli. Proceedings van de National Academy of Sciences in de Verenigde Staten van Amerika. 2007, 104: 5181-5186. [PMC gratis artikel] [PubMed]
244. Vogt BA. Pijn en emotie-interacties in subregio's van de cingulate gyrus. Nat Rev Neurosci. 2005, 6: 533-544. [PMC gratis artikel] [PubMed]
245. Voon V, Pessiglione M, Brezing C, Gallea C, Fernandez HH, Dolan RJ, Hallett M. Mechanismen die ten grondslag liggen aan dopamine-gemedieerde beloning in dwangmatig gedrag. Neuron. 2010, 65: 135-142. [PMC gratis artikel] [PubMed]
246. Waelti P, Dickinson A, Schultz W. Dopamine-responsen voldoen aan de basisaannames van formele leertheorie. Natuur. 2001, 412: 43-48. [PubMed]
247. Wallis JD, Kennerley SW. Heterogene beloningssignalen in de prefrontale cortex. Huidige opinie over neurobiologie. 2010, 20: 191-198. [PMC gratis artikel] [PubMed]
248. Walton ME, Behrens TE, Buckley MJ, Rudebeck PH, Rushworth MF. Scheidbare leersystemen in het makakenbrein en de rol van orbitofrontale cortex bij contingent leren. Neuron. 2010, 65: 927-939. [PMC gratis artikel] [PubMed]
249. Wheeler RA, Twining RC, Jones JL, Slater JM, Grigson PS, Carelli RM. Gedrags- en elektrofysiologische indices van negatief affect voorspellen cocaïne zelftoediening. Neuron. 2008, 57: 774-785. [PubMed]
250. Wightman RM, Heien MLAV, Wassum KM, Sombers LA, Aragona BJ, Khan AS, Ariansen JL, Cheer JF, Phillips PE, Carelli RM. De afgifte van dopamine is heterogeen binnen micro-omgevingen van de rattenkern accumbens. Het Europese tijdschrift voor neurowetenschap. 2007, 26: 2046-2054. [PubMed]
251. Williams GV, Castner SA. Onder de curve: kritische kwesties voor het ophelderen van de D1-receptorfunctie in het werkgeheugen. Neuroscience. 2006, 139: 263-276. [PubMed]
252. Williams SM, Goldman-Rakic ​​PS. Wijdverspreide oorsprong van het mesofrontale dopaminesysteem van primaten. Cereb Cortex. 1998, 8: 321-345. [PubMed]
253. Winn P. Hoe best rekening te houden met de structuur en functie van de pedunculopontine tegmentale kern: gegevens uit dierstudies. Journal of the Neurological Sciences. 2006, 248: 234-250. [PubMed]
254. Verstandige RA. Dopamine, leren en motivatie. Nat Rev Neurosci. 2004, 5: 483-494. [PubMed]
255. Verstandige RA. Voorhersenen substraten van beloning en motivatie. The Journal of comparative neurology. 2005, 493: 115-121. [PMC gratis artikel] [PubMed]
256. Wise SP. Forward frontale velden: fylogenie en fundamentele functie. Trends in neurowetenschappen. 2008, 31: 599-608. [PMC gratis artikel] [PubMed]
257. Yamada H, Matsumoto N, Kimura M. Tonisch actieve neuronen in de primaat caudate nucleus en putamen differentiëren differentieel geïnstrueerde motivationele uitkomsten van actie. J Neurosci. 2004, 24: 3500-3510. [PubMed]
258. Yamada H, Matsumoto N, Kimura M. Geschiedenis- en huidige op instructie gebaseerde codering van aanstaande gedragsresultaten in het striatum. J Neurophysiol. 2007, 98: 3557-3567. [PubMed]
259. Yin HH, Knowlton BJ. De rol van de basale ganglia in gewoontevorming. Nat Rev Neurosci. 2006, 7: 464-476. [PubMed]
260. Young AM, Moran PM, Joseph MH. De rol van dopamine bij conditionering en latente remming: wat, wanneer, waar en hoe? Neurowetenschappen en biobeoordelingen. 2005, 29: 963-976. [PubMed]
261. Zaghloul KA, Blanco JA, Weidemann CT, McGill K, Jaggi JL, Baltuch GH, Kahana MJ. Menselijke substantia nigra-neuronen coderen voor onverwachte financiële beloningen. Wetenschap. 2009, 323: 1496-1499. [PMC gratis artikel] [PubMed]
262. Zahniser NR, Sorkin A. Snelle regulatie van de dopaminetransporter: rol in stimulantverslaving? Neurofarmacologie. 2004; 47 Suppl 1: 80-91. [PubMed]
263. Zhang L, Doyon WM, Clark JJ, Phillips PE, Dani JA. Bestrijdt de tonische en fasische dopamine-overdracht in het dorsale en ventrale striatum. Moleculaire farmacologie. 2009, 76: 396-404. [PMC gratis artikel] [PubMed]
264. Zink CF, Pagnoni G, Martin ME, Dhamala M, Berns GS. Menselijke striatale respons op saillante niet-stimulerende stimuli. Journal of Neuroscience. 2003, 23: 8092-8097. [PubMed]
265. Zweifel LS, Argilli E, Bonci A, Palmiter RD. De rol van NMDA-receptoren in dopamine-neuronen voor plasticiteit en verslavend gedrag. Neuron. 2008, 59: 486-496. [PMC gratis artikel] [PubMed]
266. Zweifel LS, Parker JG, Lobb CJ, Rainwater A, Wall VZ, Fadok JP, Darvas M, Kim MJ, Mizumori SJ, Paladini CA, et al. Verstoring van NMDAR-afhankelijk barsten door dopamine-neuronen verschaft selectieve beoordeling van fasisch dopamine-afhankelijk gedrag. Proceedings van de National Academy of Sciences in de Verenigde Staten van Amerika. 2009, 106: 7281-7288. [PMC gratis artikel] [PubMed]