Ontleedcomponenten van beloning: liken, willen en leren (2010)

Beloning: opmerkingen - Deze groep heeft veel onderzoeken en recensies die de neurale substraten van willen versus leuk vinden onderzoeken. De huidige theorie suggereert dat dopamine-mechanismen leuk zijn en opioïde mechanismen ontbreken. Verslaving wil zo graag dat je het blijft gebruiken ondanks de negatieve gevolgen.


Volledige studie: ontleedcomponenten van beloning: 'leuk vinden', 'willen' en leren

Curr Opin Pharmacol. 2009 februari; 9 (1): 65-73.

Gepubliceerd online 2009 januari 21. doi: 10.1016 / j.coph.2008.12.014.

Kent C Berridge, Terry E Robinson en J Wayne Aldridge

Adres Afdeling Psychologie, Universiteit van Michigan, Ann Arbor, 48109-1043, VS.

Corresponderende auteur: Berridge, Kent C (Email: [e-mail beveiligd])

Abstract

De afgelopen jaren is aanzienlijke vooruitgang geboekt met het afbakenen van de psychologische componenten van beloning en hun onderliggende neurale mechanismen. Hier belichten we kort de bevindingen over drie dissocieerbare psychologische componenten van beloning: 'smaak'(hedonische impact),'willen'(incentive salience), en leren (voorspellende associaties en cognities). Een beter begrip van de componenten van beloning en hun neurobiologische substraten kan helpen bij het ontwikkelen van verbeterde behandelingen voor stemmings- en motivatieproblemen, variërend van depressie tot eetstoornissen, drugsverslaving en gerelateerde compulsieve bezigheden van beloningen.

Introductie

Leuk vinden

Voor de meeste mensen is een 'beloning' iets dat gewenst is omdat het een bewuste ervaring van genot produceert - en daarom kan de term worden gebruikt om te verwijzen naar de psychologische en neurobiologische gebeurtenissen die subjectief genot produceren. Maar er zijn aanwijzingen dat subjectief genot slechts een onderdeel is van beloning en dat beloningen het gedrag kunnen beïnvloeden, zelfs als ze er zich niet bewust van zijn. Inderdaad, introspectie kan soms zelfs leiden tot verwarring over de mate waarin beloningen worden gewaardeerd, terwijl onmiddellijke reacties wellicht nauwkeuriger zijn [1].

In het uiterste geval kunnen zelfs onbewuste of impliciete 'lust'-reacties op hedonistische prikkels worden gemeten in gedrag of fysiologie zonder bewust pleziergevoel (bv. Na een subliminaal korte vertoning van een gelukkige gezichtsuitdrukking of een zeer lage dosis intraveneuze cocaïne) [2,3]. Alhoewel misschien verrassend, kunnen objectieve maatregelen om reacties op beloningen 'leuk te vinden' soms meer directe toegang verschaffen tot hedonistische systemen dan subjectieve rapporten.

Een belangrijk doel voor affectieve neurowetenschappen is om te identificeren welke hersensubstraten plezier veroorzaken, of ze nu subjectief of objectief zijn. Neuroimaging en neurale registratiestudies hebben aangetoond dat beloningen variërend van zoete smaak tot intraveneuze cocaïne, het winnen van geld of een lachend gezicht vele hersenstructuren activeert, waaronder orbitofrontale cortex, anterieure cingulate en insula, en subcorticale structuren zoals nucleus accumbens, ventrale pallidum, ventrale tegmentum en mesolimbische dopamineprojecties, amygdala, etc. [• 4,5,6,7 ••,8,• 9,• 10,11-13].

Maar welke van die hersensystemen veroorzaken eigenlijk het plezier van de beloning? En welke activeringen zijn in plaats daarvan slechts correlaten (bijvoorbeeld vanwege het verspreiden van netwerkactivering) of gevolgen van plezier (in plaats daarvan bemiddelen andere cognitieve, motiverende, motorische, enz. Functies gerelateerd aan de beloning)? Wij en anderen hebben in dierstudies naar plezieroorzaak gezocht door hersenmanipulaties te identificeren die de hedonische impact versterken [6,14 ••,15,16,• 17,18-22].

Om neurale systemen te bestuderen die verantwoordelijk zijn voor de hedonistische impact van beloningen, hebben wij en anderen objectieve 'lust' reacties op zoete smaakbeloningen geëxploiteerd, zoals affectieve gezichtsuitdrukkingen van pasgeboren menselijke baby's en de homologe gezichtsreacties van orang-oetans, chimpansees, apen en zelfs ratten en muizen [• 4,18,23,24]. Snoepjes lokken positieve gezichtsuitdrukkingen uit in al deze (lip-likkende, ritmische tonguitsteeksels, etc.), terwijl bittere smaken in plaats daarvan negatieve 'afkeer'-uitdrukkingen opwekken (gaapt, enz .; Figuur 1; Aanvullende film 1). Dergelijke 'liking' - 'disliking' reacties naar smaak worden gecontroleerd door een hiërarchie van hersensystemen voor hedonische impact in de voorhersenen en hersenstam, en worden beïnvloed door vele factoren die aangenaamheid veranderen, zoals honger / verzadiging en geleerde smaakvoorkeuren of aversies.

Figuur 1

Voorbeeld van gedragsreacties die 'leuk vinden' en brain hedonic-hotspots voor een zintuiglijk genot. Top: Positieve hedonistische 'liking'-reacties worden opgewekt door de sucrosesmaak van de menselijke baby- en volwassen rat (bijvoorbeeld ritmische tonguitsteeksel). ...

Er zijn tot nu toe slechts een paar neurochemische systemen gevonden om de 'leukere' reacties op een zoete smaak bij ratten te verbeteren, en alleen binnen een paar afgebakende hersenlocaties. Opioïde, endocannabinoïde en GABA-benzodiazepine neurotransmittersystemen zijn belangrijk voor het genereren van aangename reacties [14 ••,15,16,• 17,25,26], met name op specifieke locaties in limbische structuren (Figuur 1 en Figuur 2) [15,16,• 17,21,27]. We hebben deze sites 'hedonistische hotspots' genoemd omdat ze in staat zijn om een ​​toename te genereren in 'leuke reacties' en door afleiding, plezier. Een hedonische hotspot voor opioïde verbetering van zintuiglijk genot bevindt zich in de nucleus accumbens in het rostrodorsale kwadrant van de mediale omhulling, ongeveer een kubieke millimeter in volume [14 ••,15,28].

Dat wil zeggen, de hotspot omvat slechts 30% van het mediale schaalvolume en minder dan 10% van de gehele nucleus accumbens. Binnen die hedonistische hotspot verdubbelt of verdrievoudigt het micro-injectie van de mu-opioïde agonist, DAMGO, het aantal 'liken'-reacties die worden opgewekt door sucrosesmaak [...14 ••,28]. Een andere hedonische hotspot wordt gevonden in de achterste helft van het ventrale pallidum, waar DAMGO opnieuw de 'lust' reacties op zoetheid [• 17,21,28]. In beide hotspots verdubbelt dezelfde micro-injectie ook het 'willen' van voedsel in de zin van het stimuleren van eetgedrag en voedselinname.

Figuur 2

Uitbreiding van mu opioïde hotspot in nucleus accumbens met afbakening van 'liking' versus 'wanting'-zones. Groen: de gehele mediale schaal bemiddelt door opioïden gestimuleerde verhogingen van 'willen' voor voedselbeloning. ...

Buiten die hotspots, zelfs in dezelfde structuur, produceren opioïde stimulaties zeer verschillende effecten. Bijvoorbeeld, in NAc op vrijwel alle andere locaties stimuleren DAMGO-micro-injecties nog steeds 'willen' voor voedsel, net zoals in de hotspot, maar verbeteren niet het 'likken' (en zelfs onderdrukken van 'liking' in een meer posterieure coldspot in de mediale schaal terwijl nog steeds voedselinname stimuleren; Figuur 2). Vergelijking van de effecten van mu-opioïde-activiteit in of buiten de hotspot in NAc-mediale schaal geeft dus aan dat opioïde sites die verantwoordelijk zijn voor 'liking' anatomisch dissocieerbaar zijn met diegenen die 'willen' beïnvloeden [14 ••,16].

Endocannabinoïden verbeteren reacties op 'liking' in een NAc-hotspot die de mu-opioïde-site overlapt [16,27]. Micro-injectie van anandamide in de endocannabinoïde hotspot, die misschien werkt door het stimuleren van CB1-receptoren daar, verdubbelt meer dan het dubbele aantal 'liking'-reacties op sucrose-smaak (en verdubbelt meer dan de voedselinname). Dit hedonische endocannabinoïdesubstraat kan verband houden met medicatie-effecten van endocannabinoïdeantagonisten bij gebruik als potentiële behandelingen voor obesitas of verslaving [16,29,30].

Het ventrale pallidum is een hoofddoelwit voor nucleus accumbens-outputs en de posteriorhelft bevat een tweede opioïde hotspot [• 17,21]. In de pallidum hotspot, micro-injecties van DAMGO dubbele 'smaak' voor sucrose en 'willen' voor voedsel (gemeten als inname). Daarentegen onderdrukt micro-injectie van DAMGO anterieur aan de hotspot 'liking' en 'wanting'. Vrij 'onafhankelijk' wordt 'willen' op alle locaties in ventrale pallidum afzonderlijk gestimuleerd door blokkering van GABAA receptoren via bicuculline micro-injectie, zonder de 'liking' op welke locatie dan ook te veranderen [• 17,31].

De rol van ventrale pallidum in 'liking' en 'wanting' maakt het van bijzonder belang voor studies naar neurale activatie die door beloning wordt geïnduceerd. Bij mensen activeren cocaïne, seks, eten of geldbeloningen allemaal het ventrale pallidum, inclusief het achterste subgebied dat overeenkomt met de hedonische hotspot bij ratten [• 9,• 10,11,21]. In meer gedetailleerde elektrofysiologische studies van hoe neuronen in het posterieure ventrale pallidum coderen voor hedonische signalen bij ratten, hebben we ontdekt dat hotspotneuronen krachtiger vuren op de zoete smaak van sucrose dan op een onaangename zoute smaak (driemaal de concentratie van zeewater) [7 ••]. Op zichzelf bewijst een verschil in opgewekt afvuren tussen sucrose en zout echter niet dat de neuronen coderen voor hun relatieve hedonische impact ('liken' versus 'niet leuk vinden'), in plaats van slechts een fundamenteel sensorisch kenmerk van de stimulus (zoet versus zout) ).

We ontdekten echter ook dat neuronale activiteit een verandering in de relatieve hedonische waarde van deze stimuli volgde wanneer de aangenaamheid van NaCl-smaak selectief werd gemanipuleerd door een fysiologische zoutlust op te wekken. Toen ratten natriumarm waren (door mineralocorticoïd hormoon en diuretische toediening), werd de intense zoute smaak net zo goed 'geliefd' als sucrose, en neuronen in ventrale pallidum begonnen net zo krachtig te vuren op zout als op sucrose [7 ••] (Figuur 3). We denken dat dergelijke waarnemingen aangeven dat inderdaad de vurenpatronen van deze ventrale pallidal neuronen coderen voor hedonistische 'lust' voor de aangename sensatie, eerder dan voor eenvoudiger zintuiglijke kenmerken [21,32].

Figuur 3

Neuronale codering van 'liking' voor het zintuiglijke genot van zoete en zoute smaken. Neuronale stootreacties worden getoond van een ventrale pallidum-registratie-elektrode naar smaken van sucrose en intens zout toegediend in de mond van een rat. Twee ...

Hedonische hotspots die over de hersenen zijn verspreid, kunnen functioneel worden gekoppeld in een geïntegreerd hiërarchisch circuit dat meerdere voorhersenen hersenstam combineert, vergelijkbaar met meerdere eilanden van een archipel die samen handel drijven [21,24,27]. Op het relatief hoge niveau van limbische structuren in ventrale voorhersenen, kan de versterking van 'liking' door hotspots in accumbens en ventrale pallidum samen optreden als een enkele coöperatieve heterarchie, die unanieme 'stemmen' nodig heeft bij beide hotspots [28]. Hedonische amplificatie door opioïde stimulatie van één hotspot kan bijvoorbeeld worden verstoord door opioïde receptorblokkade bij de andere hotspot, hoewel 'willen' amplificatie door de NAc-hotspot robuuster was en bleef bestaan ​​na VP hotspot-blokkade [28].

Een vergelijkbare interactie die ten grondslag ligt aan 'liking' is waargenomen na manipulatie van opioïden en benzodiazepinen (waarschijnlijk met betrekking tot de parabrachiale kern van de hersenstampons) [27]. De 'liking'-versterking die wordt geproduceerd door toediening van benzodiazepine lijkt de verplichte werving van endogene opioïden te vereisen, omdat dit wordt voorkomen door toediening van naloxon [33]. Zo kan een enkel hedonisch circuit meerdere neuro-anatomische en neurochemische mechanismen combineren om reacties en plezier te 'waarderen'.

'Willen'

Meestal 'houdt' een brein van de beloningen die het 'wil'. Maar soms kan het hen gewoon 'willen'. Onderzoek heeft aangetoond dat 'liking'- en' wanting'-beloningen zowel psychologisch als neurobiologisch dissocieerbaar zijn. Met 'willen' bedoelen we incentive saillantie, een type stimuleringsmotivatie die benadering en consumptie van beloningen bevordert en die verschillende psychologische en neurobiologische kenmerken heeft. Bijvoorbeeld, incentive saillantie is te onderscheiden van meer cognitieve vormen van begeerte die worden bedoeld door het gewone woord, willen, die declaratieve doelen of expliciete verwachtingen van toekomstige uitkomsten omvatten, en die grotendeels worden gemedieerd door corticale circuits [34-37].

Ter vergelijking: incentive salience wordt gemedieerd door meer subcorticaal gewogen neurale systemen die mesolimbische dopamineprojecties bevatten, vereist geen uitgebreide cognitieve verwachtingen en is meer direct gericht op beloningsgerelateerde stimuli [34,35,38]. In gevallen zoals verslaving, met incentive-sensitisatie, kan het verschil tussen incentive salience en meer cognitieve verlangens soms leiden tot wat irrationeel 'willen' zou kunnen worden genoemd: dat wil zeggen, een 'wil' voor wat niet cognitief gewenst is, veroorzaakt door overmatig incentive salience [• 39,• 40,41].

'Willen' kan van toepassing zijn op aangeboren stimuleringsstimuli (ongeconditioneerde stimuli, UCS's) of op aangeleerde stimuli die oorspronkelijk neutraal waren, maar voorspellen nu de beschikbaarheid van beloningscooles (Pavlovian geconditioneerde stimuli, CS's) [38,• 40]. Dat wil zeggen, CS's verwerven motivatie-motiverende eigenschappen wanneer een CS wordt gecombineerd met de ontvangst van een aangeboren of 'natuurlijke' beloning via Pavlovische stimulusstimulusverenigingen (S-S-leren). Incentive salience wordt toegeschreven aan die CS's door limbische mechanismen die putten uit die associaties op het moment van 'willen', waardoor een CS aantrekkelijk en stimulerend en sturend gemotiveerd gedrag naar de beloning [35].

Wanneer een CS wordt toegeschreven aan een incentive-opvallendheid, verkrijgt deze doorgaans duidelijke en meetbare 'wilseigenschappen' [35,42], die kan worden geactiveerd wanneer de CS fysiek opnieuw wordt aangetroffen (hoewel levendige beelden van beloningscues ook kunnen volstaan, vooral bij mensen). De 'willen'-eigenschappen die door dergelijke beloningscues worden geactiveerd, zijn onder meer:

  1. Motiverende magneetfunctie van incentive-salience. Een CS toegeschreven met incentive salience wordt motivationeel fascinerend, een soort 'motivationele magneet', die wordt benaderd en soms zelfs wordt geconsumeerd (Aanvullende film 1) [43,• 44,45]. De motiverende magneetfunctie van CS-prikkels kan zo krachtig worden dat een CS zelfs dwangmatige benadering kan oproepen [46]. Crack-cocaïneverslaafden, bijvoorbeeld, jagen soms verwoed 'op spoken' of scrabble na witte korrels waarvan ze weten dat het geen cocaïne is.
  2. Door cue getriggerde Amerikaanse 'wil'-functie. Een ontmoeting met een CS voor een beloning triggert ook 'willen' voor zijn eigen bijbehorende UCS, vermoedelijk via overdracht van incentive salience naar associatief gekoppelde representaties van de afwezige beloning [34,47,48]. In dier laboratoriumtests is dit manifest als een fasische piek van cue-getriggerde verhogingen van het werken voor de afwezige beloning (meestal specifiek beoordeeld in testen genaamd PIT of Pavloviaanse-instrumentele overdracht uitgevoerd onder uitstervingsomstandigheden; Figuur 4). Het cue-getriggerde 'willen' kan vrij specifiek zijn voor de bijbehorende beloning, of soms op een meer algemene manier overkomen om 'willen' ook te belonen voor andere beloningen (zoals misschien wanneer gesensibiliseerde verslaafden of dopamine-dysregulatiepatiënten dwangmatig gokken vertonen, seksueel gedrag, enz., naast dwangmatig drugsgebruik) [49,50]. Zo kunnen ontmoetingen met stimulerende stimuli de motivatie om beloningen te zoeken dynamisch verhogen en de kracht vergroten waarmee ze worden gezocht, een fenomeen dat vooral belangrijk kan zijn wanneer aanwijzingen een terugval in verslaving veroorzaken.

    Figuur 4

    NAc amfetamine amplificatie van door cue getriggerde 'wanting'. Voorbijgaande pieken van 'willen' voor sucrose-beloning worden geactiveerd door 30-s optredens van een Pavloviaans sucrose-signaal in een Pavlovian-instrumentele overdrachtstest (CS +, rechts). ...
  3. Geconditioneerde versterkingsfunctie. Incentive salience maakt een CS ook aantrekkelijk en 'gezocht' in de zin dat een individu zal werken om de CS zelf te verkrijgen, zelfs in afwezigheid van de beloning van de VS. Dit wordt vaak instrumentele geconditioneerde versterking genoemd. Evenzo verhoogt het toevoegen van een CS aan wat wordt verdiend wanneer een dier werkt voor een Amerikaanse beloning zoals cocaïne of nicotine, hoe gretig ze werken, misschien omdat de CS een extra 'gewild' doel toevoegt [51]. We merken echter op dat geconditioneerde versterking breder is dan 'willen' en aanvullende associatieve mechanismen nodig heeft om de instrumentele taak te verwerven. Ook kunnen alternatieve SR-mechanismen geconditioneerde versterking bemiddelen in bepaalde situaties zonder dat de stimulans saillant is. Dit maakt de motiverende magneet en cue-triggered 'willen' eigenschappen met name belangrijk voor de identificatie van excessieve incentive saillantie.

Uitbreidingen van incentive saillantie

  1. Action salience? Voordat we de psychologische kenmerken van 'willen' verlaten, zijn we geneigd om dat gedrag te speculeren acties of motorische programma's kan ook 'gewild' worden, bijna als stimuleringsstimuli, door een vorm van incentive-salience toegepast op hersenrepresentaties van interne bewegingen in plaats van representaties van externe stimuli. We noemen dit idee 'actie salience' of 'willen' handelen. Action salience die we suggereren, kan een motor zijn die gelijkwaardig is aan stimulus-incententie, en gemedieerd door overlappende hersensystemen (bijv. Dorsale nigrostriatale dopaminesystemen die overlappen met ventrale mesolimbische systemen). Het genereren van aandrang om te handelen, misschien met betrekking tot gemengde motorische en motiverende functies binnen het neostriatum (een structuur waarvan ook bekend is dat het deelneemt aan beweging) lijkt in overeenstemming te zijn met verschillende opkomende gedachtegangen over basale ganglia-functie [52,53,• 54,55].
  2. Kan verlangen gerelateerd zijn aan angst? Tot slot merken we op dat incentive salience ook misschien verrassende onderbouwingen kan delen in mesocorticolimbische mechanismen met angstige opvallendheid [56,• 57,58,59]. Bijvoorbeeld, dopamine en glutamaat interacties in nucleus accumbens circuits genereren niet alleen verlangen, maar ook angst, zijn anatomisch georganiseerd als een affectief toetsenbord, waarbij verstoring van sequentieel gelokaliseerde sleutels incrementele mengsels van appetitief versus angstig gedrag genereert [• 57]. Verder kunnen sommige lokale 'sleutels' in de nucleus accumbens worden omgedraaid van het genereren van een motivatie naar het tegenovergestelde door psychologisch veranderende externe affectieve ambiance (bijv. Verandering van een comfortabele huisomgeving naar een stressvolle helder verlichte en gevuld met rauwe rockmuziek) [56].
    Dergelijke recente bevindingen geven aan dat neurochemische specialisaties of anatomische lokalisaties van 'liking'- of' wanting'-functies die hierboven zijn beschreven niet noodzakelijkerwijs permanent toegewijde 'gelabelde lijn'-mechanismen weerspiegelen waarbij' één substraat = één functie '. Ze kunnen eerder een weerspiegeling zijn van gespecialiseerde affectieve capaciteiten (bijv. Hedonische hotspots) of motivatie-valentie-biases (bijv. Verlangen-angsttoetsenbord) van hun specifieke neurobiologische substraten. Sommige van die substraten zijn mogelijk in staat tot meerdere functionele modi, afhankelijk van andere gelijktijdige factoren, zodat ze kunnen schakelen tussen het genereren van functies die zo tegengesteld zijn als verlangen versus angst.

Neurobiologische substraten voor 'willen'

In tegenstelling tot de neurobiologie van 'willen' tot 'liken', merken we op dat hersensubstraten voor 'willen' breder verspreid en gemakkelijker te activeren zijn dan substraten voor 'liking' [38,53,60,• 61,62-65]. Neurochemische 'willen'-mechanismen zijn talrijker en diverser in zowel neurochemische als neuroanatomische domeinen, wat misschien de basis is voor het fenomeen' een beloning willen 'zonder dezelfde beloning gelijk te' vinden '. Naast opioïde-systemen activeren dopamine- en dopamine-interacties met corticolimbisch glutamaat en andere neurochemische systemen incentive salience 'willen'. Farmacologische manipulaties van sommige van die systemen kunnen gemakkelijk 'willen' veranderen zonder de 'smaak' te veranderen. Onderdrukking van endogene dopamine-neurotransmissie vermindert bijvoorbeeld 'willen' maar niet 'lust' [38,64].

Omgekeerd is versterking van 'willen' zonder 'liken' veroorzaakt door de activering van dopaminesystemen door amfetamine of vergelijkbare catecholamine-activerende geneesmiddelen die systemisch of micro-geïnjecteerd rechtstreeks in de nucleus accumbens worden toegediend, of door genetische mutatie die de extracellulaire niveaus van dopamine verhoogt (via knockdown van dopamine-transporters in de synaps) in mesocorticolimbische circuits en door de bijna permanente sensibilisatie van mesocorticolimbisch-dopamine-gerelateerde systemen door herhaalde toediening van hoge doses verslavende geneesmiddelen (Figuur 3-Figuur 5) [• 39,• 40,• 61,66]. We hebben voorgesteld dat bij gevoelige individuen de neurale sensibilisering van incentive-opvallendheid door drugs van misbruik dwangmatig 'willen' kan veroorzaken om meer medicijnen te nemen, ongeacht of dezelfde medicijnen overeenkomstig 'geliefd' zijn en dus bijdragen aan verslaving [• 39,• 40,42] (Figuur 5).

Figuur 5

Incentive-sensitisatie model van verslaving. Schematische modellen van hoe 'willen' drugs gebruiken, kunnen in de loop van de tijd groeien onafhankelijk van 'willen' voor drugsplezier als een persoon een verslaafde wordt. De overgang van casual drugs ...

Ontleden van leren van 'willen': de voorspellende versus stimulerende eigenschappen van aan beloningen gerelateerde signalen

Zodra aan de beloning gerelateerde signalen worden geleerd, voorspellen die signalen de bijbehorende beloningen en activeren ze bovendien motiverende 'willen' om de beloningen te ontvangen. Zijn voorspellingen en 'willen' één en dezelfde? Of betrekken ze verschillende mechanismen? Onze visie is dat geleerde voorspelling en incentive saillantie kunnen worden ontleed, net zoals 'liking' en 'wanting' kunnen [37,38,• 39,41,46,• 61]. Het ontrafelen van psychologische functies en hun neurobiologische substraten is belangrijk voor experimentele modellen van beloningsleren en motivatie, en heeft implicaties voor pathologieën, waaronder verslaving. We zullen in het kort drie bewijslijnen uit onze laboratoria beschrijven die suggereren dat de voorspellende en stimulerende motiverende eigenschappen van beloningsgerelateerde signalen dissocieerbaar zijn.

Het eerste voorbeeld is afkomstig van experimenten die aantonen dat CS's een aanpak kunnen uitlokken, dat wil zeggen dat ze fungeren als een 'motivationele magneet' en het individu naar hen toe trekken. Veel experimenten hebben aangetoond dat wanneer een cue of 'sign' (CS), zoals het inbrengen van een hendel door de muur, gepaard gaat met de presentatie van een lonende VS, zoals voedsel, dieren de neiging hebben om de keu te benaderen en aan te vallen [43,• 44]. De sleutel tot het onderscheiden van voorspelling en motivatie ligt deels in de aard van de geconditioneerde respons van een individu (CR) [43].

Sommige ratten zullen de hendel steeds sneller na elke presentatie benaderen en zullen gretig de hendel inschakelen door eraan te snuffelen, te knabbelen en zelfs te bijten - schijnbaar proberen de hendel te 'eten' (Aanvullende film 1) [45]. Een signaal dat de beloning van cocaïne voorspelt, wordt op dezelfde manier benaderd en betrokken bij zijn eigen patroon van opgewonden snuffelgedrag [• 44], wat mogelijk verklaart waarom drugsgerelateerde signalen slecht aangepast zijn en verslaafden aantrekken. Dergelijke CR's gericht op de CS zelf worden 'sign-tracking' genoemd.

Niet alle ratten ontwikkelen echter een signal-tracking CR. Zelfs in dezelfde experimentele situatie ontwikkelen sommige ratten een andere CR - ze leren het 'doel' (de voedsellade) naderen, niet de hendel, wanneer de lever-CS wordt gepresenteerd. Deze CR wordt 'goal-tracking' genoemd. Met ervaring komen doelzoekers het doel steeds sneller naderen bij elke presentatie van de hendel CS en beginnen ze het voedseldienblad gretig te knabbelen en erbij te bijten [43,• 44,45]. Voor alle ratten heeft de CS (invoeging met hendel) dezelfde voorspellende betekenis: het triggert zowel de CR's voor het volgen van tekens als de CR's voor het volgen van doelen.

Het enige verschil is waar de CR op gericht is. Dit suggereert dat in sign-trackers de lever-CS wordt toegeschreven aan incentive salience omdat het voor hen aantrekkelijk is, en dat wordt ondersteund door observaties dat sign-trackers specifiek ook zullen leren om een ​​nieuwe reactie uit te voeren om de CS te krijgen (dwz instrumenteel geconditioneerd) versterking) [46]. Voor doel-trackers voorspelt de CS voedsel, en leidt tot de ontwikkeling van een CR, maar de CS zelf lijkt op deze manieren niet te worden toegeschreven aan incentive salience (in plaats daarvan is het doel 'gewild') [43,46]. Dergelijke bevindingen komen overeen met onze stelling dat de belonings voorspellende of associatieve waarde van een geleerde CS kan worden losgemaakt van zijn motivationele waarde, afhankelijk van of het actief wordt toegeschreven aan incentive salience [46].

Een tweede bewijslijn om voorspelling van prikkelsalentie te analyseren, is afkomstig van onderzoeken naar 'afwezige' neurale codes, vooral na dopamine-gerelateerde hersenactivatie (door amfetamine of eerdere sensibilisatie). Dopamine-verhoging lijkt specifiek het limbisch neuraal afvuren te verbeteren voor signalen die coderen voor maximale incentive-salience (Figuur 6) [• 61]. Daarentegen verbeterde dopamine-activering geen neurale signalen die een maximale voorspelling coderen [• 61].

Figuur 6

Scheiding van de CS-prikkelwaarde (willen) van de CS-voorspellende waarde (leren) door mesolimbische activering (geïnduceerd door sensibilisatie of acute amfetamine-toediening). Deze profielanalyse van neuronale schietpatronen in ventrale pallidum vertoont verschuivingen ...

Een derde bewijslijn komt van het dynamisch omkeren van 'willen' van een CS terwijl de aangeleerde voorspelling constant blijft. Een signaal dat intense zoutheid voorspelt, is bijvoorbeeld normaal 'niet gewenst' maar kan worden teruggedraaid in een 'gewilde' keu wanneer een fysiologische zoutlust wordt opgewekt. Er hoeft geen nieuw leren en dus geen verandering in geleerde voorspellingen plaats te vinden om deze motivatieomkering te laten gebeuren. Verder hoeft de ongewone eetlust nog nooit eerder te zijn ervaren, en de CS hoeft nog nooit eerder in verband te zijn gebracht met een 'geliefde' smaak. Toch wordt de eerder negatieve CS plotseling 'gezocht' in de nieuwe staat en in staat om schietpatronen te ontlokken die typerend zijn voor incentive-salience. Bij de allereerste proeven in de toestand van de zoutzucht, roept het CS plotseling neurale ontstekingssignalen op die coderen voor positief 'willen', nog voordat het zout UCS ooit is geproefd als 'geliefd' [67]. Zulke waarnemingen geven aan dat de voorspellende waarde van een cue verschilt van zijn vermogen om 'willen' op te wekken, aangezien de laatste vereist dat extra neurale systemen worden gebruikt om incentive-salience te genereren en een doelwit te 'willen'.

Meer onderzoek zal nodig zijn om te bepalen hoe 'willen' versus leren en voorspelling worden ontleed in de hersenen. Desondanks geeft het bewijs tot nu toe aan dat deze componenten verschillende psychologische identiteiten en onderscheidbare neurale substraten hebben.

Conclusie

Affectieve neurowetenschappelijke studies van het 'liken', 'willen' en het leren van componenten van beloningen hebben onthuld dat deze psychologische processen aanzienlijk in kaart worden gebracht op verschillende neuro-anatomische en neurochemische beloningssystemen voor de hersenen. Dit inzicht kan leiden tot een beter begrip van hoe hersensystemen normale beloning genereren, en tot klinische disfuncties van motivatie en gemoedstoestand. Zulke toepassingen omvatten met name hoe sensibilisering van mesolimbische systemen een dwangmatig streven naar beloningen in drugsverslaving en gerelateerde motivatiestoornissen kan produceren door specifiek 'willen' te vervormen voor een beloning.

Aanvullend materiaal

Hedonische smaakvideo

Danksagung

Het onderzoek door de auteurs werd ondersteund door subsidies van het National Institute on Drug Abuse en het National Institute of Mental Health (VS).

Bijlage A. Aanvullende gegevens

Aanvullende gegevens die aan dit artikel zijn gekoppeld, zijn te vinden in de online versie op doi: 10.1016 / j.coph. 2008.12.014.

Referenties en aanbevolen literatuur

Papers van bijzonder belang, gepubliceerd binnen de beoordelingsperiode, zijn gemarkeerd als

• van speciaal belang

•• van openstaande interesse

1. Schooler JW, Mauss IB. Gelukkig zijn en het weten: de ervaring en het metabewustzijn van plezier. In: Kringelbach ML, Berridge KC, redacteuren. Genoegens van de hersenen. Oxford Universiteit krant; in de pers.
2. Winkielman P, Berridge KC, Wilbarger JL. Onbewuste affectieve reacties op gemaskerde blije versus boze gezichten beïnvloeden consumptiegedrag en waardeoordelen. Pers Soc Psychol Bull. 2005;31: 121-135. [PubMed]
3. Fischman MW, Foltin RW. Zelftoediening van cocaïne door mensen: een laboratoriumperspectief. In: Bock GR, Whelan J, redacteuren. Cocaïne: wetenschappelijke en sociale dimensies. CIBA Foundation Symposium; Wiley; 1992. blz. 165–180.
4. Kringelbach ML De menselijke orbitofrontale cortex: beloning koppelen aan hedonische ervaring. Nat Rev Neurosci. 2005;6: 691-702. [PubMed]Beschrijft levendig en bondig de rol van de rol van de orbitofrontale cortex bij het plezier bij de mens.
5. Leknes S, Tracey I. Een veel voorkomende neurobiologie voor pijn en plezier. Nat Rev Neurosci. 2008;9: 314-320. [PubMed]
6. Wheeler RA, Carelli RM. De neurowetenschap van plezier: focus op ventrale pallidum-codes codeert hedonistische beloning: wanneer een slechte smaak goed wordt. J Neurophysiol. 2006;96: 2175-2176. [PubMed]
7. Tindell AJ, Smith KS, Pecina S, Berridge KC, Aldridge JW Ventral pallidum-vuren coderen hedonistische beloning: wanneer een slechte smaak goed wordt. J Neurophysiol. 2006;96: 2399-2409. [PubMed]Deze studie levert bewijs voor de neuronale codering van 'liking' als een objectieve component van beloningsplezier via neuronale schietpatronen in ventrale pallidum naar smaken van sucrose en zout.
8. Knutson B, Wimmer GE, Kuhnen CM, Winkielman P. De activering van Nucleus accumbens bemiddelt de invloed van beloningsaanwijzingen op het nemen van financiële risico's. Neuroreport. 2008;19: 509-513. [PubMed]
9. Beaver JD, Lawrence AD, van Ditzhuijzen J, Davis MH, Woods A, Calder AJ Individuele verschillen in beloningsdrive voorspellen neurale reacties op afbeeldingen van voedsel. J Neurosci. 2006;26: 5160-5166. [PubMed]Toont aan dat incentivecircuits worden geactiveerd door beloningselementen bij mensen op manieren die zijn gekoppeld aan een persoonlijkheidskenmerk (BAS) dat mogelijk verband houdt met sensatiezoekend gedrag.
10. Pessiglione M, Schmidt L, Draganski B, Kalisch R, Lau H, Dolan R, Frith C Hoe het brein geld omzet, een neuroimaging-onderzoek naar subliminale motivatie. Science. 2007;316: 904-906. [PubMed]Toont bij mensen aan dat hersenstimulatiecircuits met ventrale pallidum zelfs worden geactiveerd door impliciete beloningstimuli die onder bewust bewustzijn blijven, en in staat zijn gemotiveerde actie te versterken voor beloning.
11. Childress AR, Ehrman RN, Wang Z, Li Y, Sciortino N, Hakun J, Jens W, Suh J, Listerud J, Marquez K, et al. Prelude to passion: limbische activering door 'Unseen' drugs- en seksuele signalen. PLoS ONE. 2008;3: e1506. [PMC gratis artikel] [PubMed]
12. Kleine DM, Veldhuizen MG, Felsted J, Mak YE, McGlone F. Scheidbare substraten voor anticiperende en consumerende voedselchemosensatie. Neuron. 2008;57: 786-797. [PMC gratis artikel] [PubMed]
13. Tobler P, O'Doherty JP, Dolan RJ, Schultz W. Beloningswaardecodering verschilt van risicoattitude-gerelateerde onzekerheidscodering in menselijke beloningssystemen. J Neurophysiol. 2007;97: 1621-1632. [PMC gratis artikel] [PubMed]
14. Peciña S, Berridge KC Hedonische hotspot in kern van nucleos accumbens: waar veroorzaken mu-opioïden verhoogde hedonische impact van zoetheid? J Neurosci. 2005;25: 11777-11786. [PubMed]Identificeert een kubieke millimeter 'hedonische hotspot' in de schil van de kern, waar mu-opioïde signalen een 'liking'-verbetering teweegbrengen voor het zintuiglijke genot van een zoete smaak. Deze studie leverde ook het eerste bewijs voor anatomische scheiding van opioïde 'liking' veroorzaking van pure 'wanting' en coldspot zones buiten de hotspot.
15. Peciña S, Smith KS, Berridge KC. Hedonische hotspots in de hersenen. Neuroloog. 2006;12: 500-511. [PubMed]
16. Mahler SV, Smith KS, Berridge KC. Endocannabinoïde hedonische hotspot voor zintuiglijk genot: anandamide in de nucleus accumbens-schaal verbetert de 'smaak' van een zoete beloning. Neuropsychopharmacology. 2007;32: 2267-2278. [PubMed]
17. Smith KS, Berridge KC De ventrale pallidum en hedonische beloning: neurochemische kaarten van sucrose "liking" en voedselinname. J Neurosci. 2005;25: 8637-8649. [PubMed]Deze studie toonde aan dat het ventrale pallidum een ​​kubieke millimeter 'hedonische hotspot' in ventrale pallidum bevat voor opioïde amplificatie van 'liking'-reacties op zoetheid, gelokaliseerd in de achterste zone.
18. Berridge KC, Kringelbach ML. Affectieve neurowetenschap van plezier: beloning bij mens en dier. Psychopharmacology (Berl) 2008;199: 457-480. [PMC gratis artikel] [PubMed]
19. Pecina S. Opioïde beloning 'liken' en 'willen' in de nucleus accumbens. Physiol Behav. 2008;94: 675-680. [PubMed]
20. Kringelbach ML. Het hedonische brein: een functionele neuroanatomie van menselijk plezier. In: Kringelbach ML, Berridge KC, redacteuren. Genoegens van de hersenen. Oxford Universiteit krant; in de pers.
21. Smith KS, Tindell AJ, Aldridge JW, Berridge KC. Ventral pallidum speelt een rol bij beloning en motivatie. Gedrag Brain Res. 2009;196: 155-167. [PMC gratis artikel] [PubMed]
22. Ikemoto S. Dopamine beloningscircuit: twee projectiesystemen van de ventrale middenhersenen tot het nucleus accumbens-olfactorische tubercelcomplex. Brain Res Rev 2007;56: 27-78. [PMC gratis artikel] [PubMed]
23. Steiner JE, Glaser D, Hawilo ME, Berridge KC. Vergelijkende uitdrukking van hedonische impact: affectieve smaakreacties door menselijke zuigelingen en andere primaten. Neurosci Biobehav Rev. 2001;25: 53-74. [PubMed]
24. Grill HJ, Norgren R. De smaakreactiviteitstest. II. Mimetische reacties op smaakstimuli bij chronische thalamische en chronische decerebrale ratten. Brain Res. 1978;143: 281-297. [PubMed]
25. Jarrett MM, Limebeer CL, Parker LA. Effect van Delta9-tetrahydrocannabinol op de smakelijkheid van sucrose zoals gemeten met de smaakreactiviteitstest. Physiol Behav. 2005;86: 475-479. [PubMed]
26. Zheng H, Berthoud HR. Eten voor plezier of calorieën. Curr Opin Pharmacol. 2007;7: 607-612. [PMC gratis artikel] [PubMed]
27. Smith KS, Mahler SV, Pecina S, Berridge KC. Hedonische hotspots: zintuiglijk genot in de hersenen genereren. In: Kringelbach M, Berridge KC, redacteuren. Genoegens van de hersenen. Oxford Universiteit krant; in de pers.
28. Smith KS, Berridge KC. Opioïde limbisch circuit voor beloning: interactie tussen hedonische hotspots van nucleus accumbens en ventrale pallidum. J Neurosci. 2007;27: 1594-1605. [PubMed]
29. Solinas M, Goldberg SR, Piomelli D. Het endocannabinoïdesysteem in hersenbeloningsprocessen. Br J Pharmacol. 2008;154: 369-383. [PMC gratis artikel] [PubMed]
30. Kirkham T. Endocannabinoïden en de neurochemie van gulzigheid. J Neuroendocrinol. 2008;20: 1099-1100. [PubMed]
31. Shimura T, Imaoka H, ​​Yamamoto T. Neurochemische modulatie van eetgedrag in het ventrale pallidum. Eur J Neurosci. 2006;23: 1596-1604. [PubMed]
32. Aldridge JW, Berridge KC. Neurale codering van plezier: "Rose-Tinted Glasses" van het ventrale pallidum. In: Kringelbach ML, Berridge KC, redacteuren. Genoegens van de hersenen. Oxford Universiteit krant; in de pers.
33. Richardson DK, Reynolds SM, Cooper SJ, Berridge KC. Endogene opioïden zijn nodig voor de verhoging van de smakelijkheid van benzodiazepine: naltrexon blokkeert door diazepam geïnduceerde toename van sucrose 'liken' Pharmacol Biochem Behav. 2005;81: 657-663. [PubMed]
34. Dickinson A, Balleine B. Hedonics: de cognitief-motivationele interface. In: Kringelbach ML, Berridge KC, redacteuren. Genoegens van de hersenen. Oxford Universiteit krant; in de pers.
35. Berridge KC. Beloningsleren: bekrachtiging, prikkels en verwachtingen. In: Medin DL, redacteur. De psychologie van leren en motivatie. vol. 40. Academische pers; 2001. pp. 223-278.
36. Daw ND, Niv Y, Dayan P. Onzekerheid gebaseerde concurrentie tussen prefrontale en dorsolaterale striatale systemen voor gedragscontrole. Nat Neurosci. 2005;8: 1704-1711. [PubMed]
37. Dayan P, Balleine BW. Beloning, motivatie en versterkend leren. Neuron. 2002;36: 285-298. [PubMed]
38. Berridge KC. Het debat over de rol van dopamine in beloning: een pleidooi voor incentive salience. Psychopharmacology (Berl) 2007;191: 391-431. [PubMed]
39. Robinson TE, Berridge KC De stimulanssensibilisatietheorie van verslaving: een aantal actuele problemen. Philos Trans R Soc Lond B Biol Sci. 2008;363: 3137-3146. [PubMed]Laatste update over bewijs met betrekking tot de theorie dat verslaving deels wordt veroorzaakt door sensibilisatie van neurale substraten door drugs voor 'willen'.
40. Robinson TE, Berridge KC Addiction. Annu Rev Psychol. 2003;54: 25-53. [PubMed]Vergelijkt het idee dat verslaving wordt veroorzaakt door stimulans-sensitisatie, met leer- of gewoonthypothese en met ontwenningsverschijnselen of hedonistische hypothesen van verslaving.
41. Berridge KC, Aldridge JW. Beslissingshulpmiddel, de hersenen en het streven naar hedonistische doelen. Soc Cognition. 2008;26: 621-646.
42. Robinson TE, Berridge KC. De neurale basis van het hunkeren naar drugs: een incentive-sensitisatie theorie van verslaving. Brain Res Rev 1993;18: 247-291. [PubMed]
43. Flagel SB, Akil H, Robinson TE. Individuele verschillen in het toekennen van incentive salience aan beloningsgerelateerde signalen: implicaties voor verslaving. Neurofarmacologie. 2009;56: 139-148. [PMC gratis artikel] [PubMed]
44. Uslaner JM, Acerbo MJ, Jones SA, Robinson TE De toekenning van incentive salience aan een stimulus die een intraveneuze injectie van cocaïne signaleert. Gedrag Brain Res. 2006;169: 320-324. [PubMed]Demonstreert voor de eerste keer in een diermodel dat signalen voor drugs zoals cocaïne 'motivationele magneet'-eigenschappen aannemen, zodat de signalen nadering en enthousiast onderzoek in een autoshaping paradigma teweegbrengen.
45. Mahler S, Berridge K. Amygdala mechanismen van incentive salience. Society for Neuroscience Abstracts. 2007
46. ​​Robinson TE, Flagel SB. De voorspellende en stimulerende motiverende eigenschappen van beloningsgerelateerde signalen dissociëren door de studie van individuele verschillen. Biol Psychiatry. 2008 doi: 10.1016 / j.biopsych.2008.09.006.
47. Wyvell CL, Berridge KC. Intra-accumbens amfetamine verhoogt de geconditioneerde incentive-salience van sucrose-beloning: verbetering van beloning 'willen' zonder verbeterde 'liking' of versterkte respons. J Neurosci. 2000;20: 8122-8130. [PubMed]
48. Holland PC. Relaties tussen pavloviaanse instrumentele overdracht en devaluatie van versterkers. J Exp Psychol-Anim Behav-proces. 2004;30: 104-117. [PubMed]
49. Evans AH, Pavese N, Lawrence AD, Tai YF, Appel S, Doder M, Brooks DJ, Lees AJ, Piccini P. Dwangmatig drugsgebruik gekoppeld aan gesensibiliseerde ventrale striatale dopamine-overdracht. Ann Neurol. 2006;59: 852-858. [PubMed]
50. Kausch O. Patronen van middelenmisbruik bij behandelingszoekende pathologische gokkers. J Subst Abuse Treat. 2003;25: 263-270. [PubMed]
51. Schenk S, Patrijs B. Invloed van een geconditioneerde lichtstimulus op zelftoediening door cocaïne bij ratten. Psychopharmacology (Berl) 2001;154: 390-396. [PubMed]
52. Aldridge JW, Berridge KC, Herman M, Zimmer L. Neuronale codering van seriële volgorde: syntaxis van verzorging in het neostriatum. Psychol Sci. 1993;4: 391-395.
53. Volkow ND, Wang GJ, Telang F, Fowler JS, Logan J, Childress AR, Jayne M, Ma Y, Wong C. Cocaïne-aanwijzingen en dopamine in dorsaal striatum: mechanisme van hunkering naar cocaïneverslaving. J Neurosci. 2006;26: 6583-6588. [PubMed]
54. Everitt BJ, Belin D, Economidou D, Pelloux Y, Dalley JW, Robbins TW Neurale mechanismen die ten grondslag liggen aan de kwetsbaarheid om dwangmatig drugsgebruik en verslaving te ontwikkelen. Philos Trans R Soc Lond B Biol Sci. 2008;363: 3125-3135. [PubMed]Presenteert op overtuigende wijze het idee dat verslaving het gevolg is van overdreven SR-gewoonten als gevolg van vervorming van de leercomponent van beloning.
55. Haber SN, Droebel JL, McFarland NR. Striatonigrostriatale routes bij primaten vormen een stijgende spiraal van de schaal naar het dorsolaterale striatum. J Neurosci. 2000;20: 2369-2382. [PubMed]
56. Reynolds SM, Berridge KC. Emotionele omgevingen stemmen de valentie van eetlust versus angstgevoelige functies in nucleus accumbens opnieuw af. Nat Neurosci. 2008;11: 423-425. [PMC gratis artikel] [PubMed]
57. Faure A, Reynolds SM, Richard JM, Berridge KC Mesolimbic dopamine in verlangen en angst: het mogelijk maken van motivatie door gegeneraliseerde glutamaatverstoringen in nucleus accumbens. J Neurosci. 2008;28: 7184-7192. [PubMed]Dit experiment toont voor de eerste keer aan dat dopamine zowel positieve stimulerende motivatie als negatieve angstmotivatie genereert door interactie met corticolimbische glutamaatsignalen op een anatomisch specifieke manier binnen nucleus accumbens.
58. Levita L, Dalley JW, Robbins TW. Nucleus accumbens dopamine en aangeleerde angst opnieuw bekeken: een overzicht en enkele nieuwe bevindingen. Gedrag Brain Res. 2002;137: 115-127. [PubMed]
59. Kapur S. Hoe antipsychotica anti-'psychotica 'worden - van dopamine tot opvallendheid tot psychose. Trends Pharmacol Sci. 2004;25: 402-406. [PubMed]
60. Aragona BJ, Carelli RM. Dynamische neuroplasticiteit en de automatisering van gemotiveerd gedrag. Leer Mem. 2006;13: 558-559. [PubMed]
61. Tindell AJ, Berridge KC, Zhang J, Peciña S, Aldridge JW Ventral pallidal neurons coderen motivatie van motivatie: amplificatie door mesolimbische sensitisatie en amfetamine. Eur J Neurosci. 2005;22: 2617-2634. [PubMed]Een eerste demonstratie van neurale codering dat dopamine en sensibilisatie signalen 'willen' versterken, onafhankelijk van 'leuk vinden' of componenten van beloning leren.
62. Smith KS, Berridge KC, Aldridge JW. Ventrale pallidale neuronen onderscheiden 'liking'- en' wanting'-verhogingen veroorzaakt door opioïden versus dopamine in nucleus accumbens. In Society for Neuroscience Abstracts. 2007
63. Abler B, Erk S, Walter H. Activering van het menselijke beloningssysteem wordt gemoduleerd door een enkele dosis olanzapine bij gezonde proefpersonen in een gebeurtenisgerelateerd, dubbelblind, placebogecontroleerd fMRI-onderzoek. Psychopharmacology (Berl) 2007;191: 823-833. [PubMed]
64. Leyton M. De neurobiologie van verlangen: dopamine en de regulatie van stemming en motiverende toestanden bij mensen. In: Kringelbach ML, Berridge KC, redacteuren. Genoegens van de hersenen. Oxford Universiteit krant; in de pers.
65. Salamone JD, Correa M, Mingote SM, Weber SM. Voorbij de beloningshypothese: alternatieve functies van nucleus accumbens dopamine. Curr Opin Pharmacol. 2005;5: 34-41. [PubMed]
66. Peciña S, Cagniard B, Berridge KC, Aldridge JW, Zhuang X. Hyperdopaminerge mutante muizen hebben een hogere "willen" maar niet "liken" voor zoete beloningen. J Neurosci. 2003;23: 9395-9402. [PubMed]
67. Tindell AJ, Smith KS, Berridge KC, Aldridge JW. Ventrale pallidale neuronen integreren leer- en fysiologische signalen om incentive-saillantie van geconditioneerde signalen te coderen; Society for Neuroscience Conference; 12 november 2005; Washington, DC. 2005.