Neurobiologiczne podstawy oceny przewidywania nagrody i oceny wyników w hazardzie (2014)

• ¹Klinika badawcza ds. Zaburzeń hazardu, Szpital Uniwersytecki w Aarhus w Aarhus, Dania; Centrum Neuronauki Funkcjonalnie Integracyjnej, Uniwersytet w Aarhus w Aarhus, Dania; Division on Addiction, Cambridge Health Alliance Cambridge, MA, USA; Wydział Psychiatrii, Harvard Medical School, Harvard University Cambridge, MA, USA.

Zaburzenie związane z hazardem charakteryzuje się uporczywym i nawracającym nieprzystosowawczym zachowaniem hazardowym, które prowadzi do klinicznie znaczącego osłabienia lub cierpienia. Zaburzenie jest związane z dysfunkcjami układu dopaminowego. System dopaminy koduje przewidywanie nagrody i ocenę wyniku. Przewidywanie nagrody odnosi się do aktywacji dopaminergicznej przed nagrodą, podczas gdy ocena wyniku odnosi się do aktywacji dopaminergicznej po nagrodzie. W artykule dokonano przeglądu dowodów na dysfunkcje dopaminergiczne w przewidywaniu nagrody i ocenie wyników w zaburzeniach hazardu z dwóch punktów widzenia: modelu przewidywania nagrody i błędu przewidywania nagrody autorstwa Wolframa Schultza i wsp. oraz model „chcenia” i „lubienia” Terry'ego E. Robinsona i Kenta C. Berridge'a. Oba modele dostarczają ważnych informacji na temat badania dysfunkcji dopaminergicznych w uzależnieniu, a także sugeruje się implikacje dla badania dysfunkcji dopaminergicznych w zaburzeniach hazardu.

Przewidywanie nagród i błąd przewidywania nagród

Prognozowanie nagrody odnosi się do przewidywania nagrody, podczas gdy błąd przewidywania nagrody odnosi się do oceny wyniku. Przewidywanie nagród i błąd przewidywania nagród związane są z poznawaniem właściwości nagród bodźców. Według Wolframa Schultza (2006), przewidywanie nagrody i błąd przewidywania nagrody pochodzą od Kamina reguła blokująca (Kamin, 1969), co sugeruje, że w pełni przewidywana nagroda nie przyczynia się do nauki. Bodziec, który można całkowicie przewidzieć, nie zawiera żadnych nowych informacji, a zatem wskaźnik błędu przewidywania nagrody wynosi zero. Rescola i Wagner opisali tzw Reguła uczenia się Rescola-Wagnera (Rescola i Wagner, 1972), który stwierdza, że ​​uczenie się spowalnia stopniowo, gdy wzmacniacz staje się bardziej przewidywalny.

W losowych warunkach wyniku binarnego, np. Nagroda vs. brak nagrody, wartość oczekiwana (EV) to średnia wartość, jakiej można oczekiwać od danego bodźca, który jest liniową funkcją prawdopodobieństwa nagrody. W przeciwieństwie, niepewność, który można zdefiniować jako wariancję (σ²) rozkładu prawdopodobieństwa (Schultz i in., 2008), to średnie kwadratowe odchylenie od EV, które jest funkcją odwrotną w kształcie litery U. Kodowanie dopaminy śródmózgowia i prążkowia EV i niepewności następują po liniowych i kwadratowych funkcjach przewidywania nagrody podobnej do ich wyrażeń matematycznych (Fiorillo i in., 2003; Preuschoff i in., 2006; Schultz, 2006). Układ dopaminowy koduje również odchylenia w wyniku przewidywania nagrody, tj. Błąd przewidywania nagrody: „… neurony dopaminy emitują pozytywny sygnał (aktywację), gdy zdarzenie apetyczne jest lepsze niż przewidywano, brak sygnału (brak zmiany aktywności), gdy apetyt zdarzenie występuje zgodnie z przewidywaniem, a sygnał ujemny (zmniejszona aktywność), gdy zdarzenie apetyczne jest gorsze niż przewidywano… [i] neurony dopaminy wykazują dwukierunkowe kodowanie błędów przewidywania nagrody, zgodnie z równaniem Odpowiedź dopaminy = Wystąpienie nagrody - Przewidywana nagroda ”(Schultz, 2006, pp. 99 – 100).

Fiorillo i in. (2003) badali aktywację dopaminy w przewidywaniu nagrody i błędzie przewidywania nagrody w odniesieniu do EV i niepewności (tj. wariancji wyniku). W badaniu dwie małpy były narażone na bodźce o różnym prawdopodobieństwie nagrody (P = 0, P = 0.25, P = 0.5, P = 0.75 i P = 1.0). Rejestrowano częstość przewidywania lizania i aktywacji neuronów dopaminowych w brzusznym śródmózgowiu (obszar A8, A9 i A10). Kodowanie dopaminergiczne przewidywania nagrody zostało zmierzone jako fazowy sygnał natychmiast po prezentacji bodźca, podczas gdy kodowanie błędu przewidywania nagrody mierzono jako sygnał fazowy natychmiast po wyniku bodźca (nagroda lub brak nagrody). Dopaminergiczne kodowanie niepewności mierzono jako a podtrzymany sygnał od prezentacji bodźca do wyniku.

Autorzy zgłosili trzy główne wyniki. Po pierwsze, prawdopodobieństwa nagrody w przypadku bodźców były skorelowane z przewidywanym współczynnikiem lizania i przewidywaną fazową odpowiedzią dopaminową. Sugeruje to, że prawdopodobieństwo nagrody wzmocniło aktywację dopaminergiczną i reakcję behawioralną. Po drugie, trwała odpowiedź dopaminy na niepewność była zgodna z właściwościami wariancji, tj. Była największa w stosunku do bodźców z prawdopodobieństwem nagrody 50% (P = 0.5), mniejszy w kierunku bodźców za pomocą P = 0.75 i P = 0.25, a najmniejszy w kierunku bodźców za pomocą P = 1.0 i P = 0.0. Po trzecie, nagradzane bodźce o niższym prawdopodobieństwie nagrody miały większą fazową odpowiedź dopaminy po nagrodzie, co sugeruje większy pozytywny sygnał błędu prognozowania nagrody; nagradzane bodźce o wyższym prawdopodobieństwie nagrody miały mniejszą fazową odpowiedź dopaminy po nagrodzie, co sugeruje mniejszy sygnał błędu prognozowania nagrody.

Neurobiologiczne badania hazardu u ludzi potwierdzają dowody przewidywania nagrody i błędu prognozy nagrody. Abler i in. (2006) wykorzystał funkcjonalne obrazowanie rezonansu magnetycznego (fMRI) do zbadania przewidywania nagrody i błędu prognozowania nagrody w zadaniu motywacyjnym, w którym uczestnikom pokazano pięć cyfr związanych z różnymi prawdopodobieństwami nagrody (P = 0.0, P = 0.25, P = 0.50, P = 0.75 i P = 1.0). Wyniki wykazały znaczącą aktywację zależną od poziomu tlenu we krwi (BOLD) w NAcc, która była proporcjonalna do prawdopodobieństwa nagrody. Ponadto występowała znacząca interakcja między wynikiem a aktywacją BOLD w NAcc, gdzie aktywacja BOLD była wyższa, gdy bodźce o niskim prawdopodobieństwie zostały nagrodzone, a niższe, gdy bodźce o wysokim prawdopodobieństwie zostały nagrodzone.

Preuschoff i in. (2006) wykorzystał zadanie zgadywania kart w celu zbadania związku między ryzykiem a niepewnością w odniesieniu do oczekiwanej nagrody. Zadanie składało się z kart 10, od 1 do 10, gdzie losowano dwie karty kolejno. Przed dobraniem drugiej karty uczestnicy musieli zgadnąć, czy pierwsza karta będzie wyższa czy niższa od drugiej karty. Wyniki pokazały, że prawdopodobieństwo nagrody było liniowo związane z natychmiastową aktywacją BOLD: wyższe prawdopodobieństwo nagrody było związane z wyższym natychmiastowym sygnałem antycypacyjnym BOLD, a niższe prawdopodobieństwo nagrody związane było z niższym bezpośrednim sygnałem antycypacyjnym BOLD. Natomiast niepewność wykazała odwrotną zależność w kształcie litery U z późną aktywacją BOLD: najwyższe przewidywane sygnały BOLD zaobserwowano wokół maksymalnej niepewności (P = 0.5) i najniższe przewidywane sygnały BOLD były widoczne wokół maksymalnej pewności (P = 1.0 i P =

Badania neurobiologiczne potwierdzają pojęcie dysfunkcji dopaminergicznych przewidywania nagrody w zaburzeniu hazardu. van Holst i in. (2012) porównała osoby cierpiące na zaburzenia hazardu 15 ze zdrowymi kontrolami 16 w badaniu fMRI badającym przewidywanie nagrody w przypadku zgadywania karty. Osoby cierpiące na zaburzenia hazardu wykazały znaczny wzrost aktywacji BOLD w obustronnym brzusznym prążkowiu i na lewej korze oczodołowo-czołowej w kierunku EV zależnej od wzmocnienia. Sugeruje to zwiększoną aktywację BOLD w kierunku oczekiwania na nagrodę. Nie stwierdzono różnic w aktywacji BOLD w kierunku oceny wyników. Linnet i in. (2012) porównała osoby cierpiące na zaburzenia hazardowe 18 i zdrowe kontrole 16 w badaniu pozytronowej tomografii emisyjnej (PET) przy użyciu Iowa Gambling Task (IGT). Uwalnianie dopaminy w prążkowiu osób cierpiących na zaburzenia hazardowe wykazało znaczącą odwróconą krzywą U z prawdopodobieństwem korzystnego działania IGT. Osoby cierpiące na zaburzenia hazardu o maksymalnej niepewności wyniku (P = 0.5) miał większe uwalnianie dopaminy niż osoby z wydajnością IGT bliższą pewnym korzyściom (P = 1.0) lub niektóre straty (P = 0.0). Jest to zgodne z pojęciem dopaminergicznego kodowania niepewności. Nie stwierdzono interakcji między uwalnianiem dopaminy a niepewnością wśród zdrowych osób kontrolnych, co mogłoby sugerować silniejsze wzmocnienie zachowań hazardowych wśród osób cierpiących na zaburzenia hazardowe. Dlatego w zaburzeniach hazardu dopaminergiczne przewidywanie nagrody i niepewności może oznaczać dysfunkcyjne oczekiwanie na nagrodę, które wzmacnia zachowanie hazardowe pomimo strat.

W ocenie wyników dowody sugerują stępioną odpowiedź dopaminy u osób cierpiących na zaburzenia hazardowe. Reuter i in. (2005) porównała osoby cierpiące na zaburzenia hazardu 12 ze zdrowymi kontrolami 12 podczas zgadywania kart. Osoby cierpiące na zaburzenia hazardowe wykazały znacznie niższą odpowiedź BOLD w prążkowiu brzusznym na wygraną w porównaniu ze zdrowymi kontrolami. Ponadto osoby cierpiące na zaburzenie hazardu wykazały znaczącą ujemną korelację między aktywacją BOLD a nasileniem objawów hazardu, co sugeruje tępą ocenę wyników w zaburzeniu hazardu.

Jednym z ograniczeń modelu przewidywania nagród i błędu prognozowania nagród jest to, że nie jest to teoria uzależnienia lub zaburzenia hazardu, jako taki. Innymi słowy, podczas gdy zwiększona aktywacja dopaminergiczna w kierunku niepewności może być centralnym mechanizmem wzmacniającym zachowania hazardowe, nie wyjaśnia to, dlaczego niektóre osoby uzależniają się od hazardu, a inne nie. Natomiast model bodźca uczulającego sugeruje, że zachowanie uzależniające jest związane z kombinacją wzmocnienia dopaminergicznego i zmianami w systemie dopaminowym (uczulenie) po wielokrotnym narażeniu na lek.

Model „uczucia” i „lubienia” bodźca uczulającego

Terry E. Robinson i Kent C. Berridge (Robinson and Berridge, 1993, 2000, 2003, 2008; Berridge i Aldridge, 2008; Berridge i in., 2009) zaproponowali uwrażliwienie motywacyjne model, który odróżnia przyjemność („lubienie”) od motywacji („chcenia”) w uzależnieniu. „Chcieć” wiąże się z oczekiwaniem na nagrodę, a „polubienie” wiąże się z oceną rezultatu.

Model uczulenia motywacyjnego koncentruje się na układzie dopaminowym jako podstawowej neurobiologicznej podstawie uzależnienia. Brzuszne prążkowie i jego główny składnik NAcc są związane z uzależnieniem. Zmiany w układzie dopaminowym związane z ekspozycją na leki czynią obwody mózgowe nadwrażliwymi lub „uczulonymi” na leki lub sygnały narkotykowe. Uczulenie na skutek wielokrotnego narażenia na lek może również wystąpić na poziomie aktywności psychomotorycznej lub ruchowej. Uczulenie jest powiązane ze zwiększoną motywacją, która jest procesem poznawczym związanym z poszukiwaniem narkotyków i zachowaniami związanymi z przyjmowaniem narkotyków. Motywacyjny bodziec („chcący”) odnosi się do stanu motywacji, który może być świadomy lub nieświadomy, zorientowany na cel lub nie zorientowany na cel oraz przyjemny lub nieprzyjemny:

„Znaki cudzysłowu wokół terminu„ chcieć ”służą jako ostrzeżenie, aby uznać, że bodziec motywacyjny oznacza coś innego niż zwykły, wspólny język słowa„ chcieć ”. Po pierwsze, „chcenie” w sensie bodźca motywacyjnego nie musi mieć świadomego celu ani deklaratywnego celu…. Motywację można oddzielić od przekonań i deklaratywnych celów, które stanowią poznawcze aspekty „chcenia” (Berridge i Aldridge, 2008, pp. 8 – 9).

Motywacyjne bodźce („pragnienie”) rosną po wielokrotnym narażeniu na narkotyki i sygnały narkotykowe, podczas gdy przyjemność („lubienie”) pozostaje taka sama lub maleje z czasem. Model „bycia” i „lubienia” uczulenia na bodźce wyjaśnia wyjaśnienie pozornego paradoksu, że osoby z zaburzeniami używania substancji mają zwiększone pragnienie przyjmowania narkotyków, pomimo mniejszej przyjemności z ich przyjmowania. W NAcc zidentyfikowano bodźce motywacyjne: aktywacja w środkowej powłoce NAcc jest wyraźnie związana z „lubieniem”, podczas gdy aktywacja w NAcc (szczególnie w okolicy brzusznej dłoni) wiąże się z „pragnieniem” (Berridge i in., 2009).

Uczulenie pobudzające określa związek między zachętą motywacyjną a uczuleniem. Działanie pobudzające musi być połączone z uczuleniem, aby uwzględnić uzależnienie: wzrost wiązania dopaminy nie definiuje uczulenia bodźcowego, ale wzrost wiązania dopaminy w stosunku do poszczególnych wskazówek dotyczących leków; aktywność lokomotoryczna nie wskazuje na uczulenie motywacyjne, ale bieganie po narkotyki ma; zaabsorbowanie psychomotoryczne nie wskazuje na uczulenie motywacyjne, ale ma obsesję na punkcie przyjmowania narkotyków. Dlatego proste wzmocnienie zachowania jest niewystarczające, aby uwzględnić uzależnienie.

„Główną ideą jest to, że uzależniające leki trwale zmieniają systemy mózgowe związane z NAcc, które pośredniczą w podstawowej funkcji motywacyjno-motywacyjnej, przypisywaniu efektu zachęty. W konsekwencji te obwody neuronowe mogą stać się trwale nadwrażliwe (lub „uczulone”) na określone działanie leku i bodźce związane z lekiem (poprzez aktywację przez skojarzenia SS). Wywołana lekami zmiana mózgu nazywa się uczuleniem nerwowym. Zaproponowaliśmy, że prowadzi to psychicznie do nadmiernego przypisywania bodźca motywacyjnego przedstawieniom związanym z narkotykami, powodując patologiczne „chęć” przyjmowania narkotyków (Robinson i Berridge, 2003, str. 36).

Berridge i Aldridge (2008) stanowią przykład podejścia uwrażliwiającego na bodźce w badaniach nałogowych. W tym podejściu zwierzęta są trenowane pod dwoma warunkami: po pierwsze, zwierzęta są uwarunkowane do pracy (naciśnij dźwignię) w celu uzyskania nagrody (np. Granulki żywności) i muszą kontynuować pracę, aby zdobyć nagrody. W oddzielnej sesji treningowej zwierzęta otrzymują nagrody bez konieczności pracy dla nich, gdzie każda nagroda jest związana z sygnałem dźwiękowym dla 10 – 30, który jest bodźcem warunkowym (CS +). Po treningu zwierzęta są badane w paradygmacie wyginięcia, w którym „pragnienie” jest mierzone jako liczba naciśnięć dźwigni, które zwierzę jest w stanie wykonać bez otrzymania nagrody. Ponieważ zwierzęta nie otrzymują nagród, „brak” nie jest zakłócany przez konsumpcję nagrody. Kluczem tego paradygmatu jest testowanie zmian w zachowaniu, gdy uwarunkowany bodziec słuchowy jest wprowadzany podczas różnych stanów wywoływanych przez lek. W serii badań Wyvell i Berridge (2000, 2001) wykazał, że szczury, którym wstrzyknięto mikroiniekcje amfetaminy w skorupce NAcc, miały znacznie więcej nacisków dźwigni, gdy wprowadzono warunkowy bodziec słuchowy, w porównaniu do szczurów, którym podano mikroiniekcje solą fizjologiczną. W powiązanym eksperymencie Wyvell i Berridge (2000, 2001) stwierdzono, że miary (reakcja twarzy po otrzymaniu nagrody cukrowej) nie różniły się, czy zwierzęta otrzymywały mikroiniekcje soli fizjologicznej lub amfetaminy. Odkrycia te sugerują, że amfetamina jest związana ze zwiększonym „pragnieniem” wyzwalanym sygnałem, ale nie ze zwiększoną przyjemnością („lubieniem”) po otrzymaniu nagrody.

Sugestie modelu bodźca uczulającego na zwiększone „pragnienie” i zmniejszone „lubienie” uzależnienia są zgodne z ustaleniami z literatury dotyczącej zaburzeń hazardu dotyczącymi zwiększonej aktywacji dopaminy do oczekiwanej nagrody (Fiorillo i in., 2003; Abler i in., 2006; Preuschoff i in., 2006; Linnet i in., 2011, 2012) i stępioną aktywację dopaminy w celu uzyskania nagrody (Reuter i in., 2005). Te odkrycia sugerują, że dysfunkcje dopaminergiczne w kierunku Przewiduje nagrody, a nie rzeczywiste nagrody, wzmacniają zachowania hazardowe wśród osób cierpiących na zaburzenia hazardowe. Uwrażliwienie układu dopaminowego na przewidywane nagrody zamiast na poniesione nagrody może wyjaśnić, dlaczego osoby cierpiące na zaburzenia hazardowe kontynuują hazard pomimo strat i mogą odgrywać główną rolę w tworzeniu błędnych spostrzeżeń na temat prawdopodobieństwa wygranej z hazardu (Benhsain i in., 2004).

Jednym z ograniczeń modelu uczulania na bodźce jest to, że osoby z zaburzeniami używania substancji mają niższe uwalnianie dopaminy i niższą dostępność receptorów dopaminy, pomimo zwiększonego uczulenia na bodźce:

„Należy jednak przyznać, że obecna literatura zawiera sprzeczne wyniki dotyczące zmian dopaminy w mózgu u uzależnionych. Na przykład doniesiono, że detoksykowani uzależnieni od kokainy faktycznie wykazują zmniejszenie wywołanego uwalniania dopaminy, a nie uczulony wzrost opisany powyżej… Innym odkryciem u ludzi, które wydaje się niezgodne z uczuleniem, jest to, że osoby uzależnione od kokainy mają niski poziom prążkowatych receptorów dopaminy D2 nawet po długiej abstynencji… To sugeruje stan hipodopaminergiczny zamiast uczulonego ”(Robinson i Berridge, 2008, str. 3140).

Podczas gdy w literaturze dotyczącej zaburzeń hazardu zgłaszane są niższe potencjały wiązania w zaburzeniach używania substancji, nie ma dowodów na zmniejszenie potencjału wiązania (Linnet, 2013). W związku z tym zaburzenie hazardu może służyć jako zaburzenie „modelowe” dla modelu uwrażliwiającego na bodźce, ponieważ hazard nie jest zakłócany przez spożywanie substancji egzogennych.

Implikacje przewidywania nagrody i oceny wyników w zaburzeniu hazardu

Modele Schultza i in. a Robinson i Berridge dostarczają ważnych informacji na temat badań nad zaburzeniami hazardowymi. Model prognozowania nagrody i błędu prognozowania nagrody autorstwa Schultza i in. oferuje wyjaśnienie behawioralnego wzmocnienia przewidywania nagrody w uzależnieniu, podczas gdy model uczulenia motywacyjnego Robinsona i Berridge'a wyjaśnia mechanizmy „pragnienia” i „lubienia” uzależnienia. Jednocześnie zaburzenie hazardu może służyć jako zaburzenie „modelowe” w odniesieniu do niektórych aspektów tych dwóch modeli.

Po pierwsze, niższe poziomy potencjałów wiązania zgłaszane w zaburzeniach używania substancji nie są widoczne w zaburzeniach hazardu (Linnet i in., 2010, 2011,b, 2012; Clark i in., 2012; Boileau i in., 2013). Może to sugerować, że uczulenie motywacyjne może wystąpić niezależnie od wyjściowego wiązania dopaminy na poparcie modelu uczulenia motywacyjnego.

Po drugie, podczas gdy badania Fiorillo i in. (2003) i Preuschoff i in. (2006) popierają koncepcję przedłużającej się aktywacji dopaminy w kierunku niepewności, potrzebne są dalsze badania w celu ustalenia, czy ten mechanizm jest związany z dysfunkcjami dopaminergicznymi w zaburzeniach hazardu.

Po trzecie, literatura na temat zaburzeń hazardu sugeruje zwiększoną aktywację mózgu w kierunku oczekiwania na nagrodę i stępioną aktywację w kierunku oceny wyników. Jest to zgodne z sugestią modelu bodźca uczulającego na zwiększone „pragnienie”, ale zmniejszone „lubienie” w nałogu oraz pojęcie trwałej antycypacyjnej aktywacji dopaminy w przewidywaniu nagrody. Dysfunkcja dopaminergiczna w oczekiwaniu na nagrodę może stanowić wspólny mechanizm uzależnienia, ponieważ występuje w przypadku braku nagrody. Dlatego oczekiwanie na nagrodę może mieć podobną funkcję (dys), niezależnie od tego, czy nagrodą jest jedzenie, narkotyki czy hazard. Dalsze badania powinny dotyczyć przewidywania nagród i oceny wyników w zaburzeniach hazardu.

Oświadczenie o konflikcie interesów

Autor oświadcza, że ​​badanie zostało przeprowadzone przy braku jakichkolwiek powiązań handlowych lub finansowych, które mogłyby być interpretowane jako potencjalny konflikt interesów.

Podziękowanie

Referencje