Właściwości problematycznej skali konsumpcji pornografii (PPCS-18) w próbkach społecznych i podklinicznych w Chinach i na Węgrzech (2020)

Wciągające zachowania

Dostępny online 31 lipca 2020, 106591

W prasie, Journal Pre-proof

LijunChena, XiaohuiLua, BeataBőthe, XiaoliuJiang, ZsoltDemetrovics, Marc.N.Potenza

Najważniejsze

  • PPCS-18 wykazał silne właściwości psychometryczne wśród chińskich mężczyzn.
  • Podejście do analizy sieci potwierdziło sześć czynników PPCS-18.
  • PPCS-18 wykazał dużą możliwość uogólniania w różnych kulturach.
  • PPCS-18 wykazywał dużą zdolność do uogólniania wśród mężczyzn w społeczności i ludziach subklinicznych.
  • PPCS-18 można niezawodnie stosować w próbkach podklinicznych.

Wciągające zachowania

Abstrakcyjny

Dostępnych jest kilka skal oceniających problematyczne wykorzystanie pornografii (PPU). Jednak w większości wcześniejszych badań do walidacji tych skal wykorzystano głównie próbki niekliniczne i zachodnie. Dlatego potrzebne są dalsze badania, aby zweryfikować skale do oceny problematycznego wykorzystania pornografii w różnych próbach, w tym w populacjach subklinicznych. Celem niniejszego badania było zbadanie i porównanie właściwości psychometrycznych PPCS-18 w próbkach pochodzących ze społeczności węgierskiej i chińskiej oraz u mężczyzn bez objawów klinicznych. Próbę chińskich mężczyzn ze społeczności (N1 = 695), próbę mężczyzn z subklinicznymi wynikami badań przesiewowych pod kątem PPU za pomocą Brief Pornography Screen (N2 = 4651) oraz próbę węgierskich mężczyzn ze społeczności (N3 = 9395) zrekrutowano do zbadania niezawodność i ważność PPCS-18. Korelacja wyniku całkowitego, konfirmacyjne analizy czynnikowe, wiarygodność i testy niezmienności pomiarów wykazały, że PPCS-18 przyniósł silne właściwości psychometryczne wśród mężczyzn ze społeczności węgierskiej i chińskiej oraz wskazał na potencjalną użyteczność u mężczyzn z subklinicznymi wynikami. Podejście oparte na analityce sieciowej potwierdza również, że sześć czynników PPCS-18 może odzwierciedlać cechy uczestników z różnych kontekstów kulturowych oraz uczestników ze społeczności i populacji subklinicznych. Podsumowując, PPCS-18 wykazywał dużą możliwość uogólniania w różnych kulturach oraz w społeczności i mężczyznach bez objawów klinicznych.

Słowa kluczowe

problematyczne korzystanie z pornografii
Problematyczna skala konsumpcji pornografii
pokaz
ważność
kontekst kulturowy

1. Wstęp

Dane sugerują, że zwiększonemu korzystaniu z Internetu towarzyszył wzrost konsumpcji pornografii i częstotliwości problematycznego korzystania z pornografii (PPU), co stanowi klinicznie istotne zjawiska (Brand, Antons, Wegmann i Potenza, 2019a; Brand, Blycker i Potenza, 2019b; de Alarcón, de la Iglesia, Casado i Montejo, 2019). Pomimo wzrostu liczby badań dotyczących problemów i zaburzeń związanych z Internetem, konceptualizacje PPU pozostają przedmiotem dyskusji (Hertlein i Cravens, 2014, López-Fernández, 2015, Potenza i wsp., 2017, Stark i in., 2018, Wéry i Billieux, 2017, Young, 2008). Do opisania tego zjawiska użyto wielu terminów (np. Uzależnienie od seksu w Internecie, problematyczne czynności seksualne w Internecie, uzależnienie cyberseksualne i problematyczne korzystanie z pornografii internetowej) oraz czy subiektywnie postrzegane uzależnienie od pornografii z powodu niezgodności moralnej jest uważane za PPU poddane dyskusji (Brand i in., 2019a; Vaillancourt-Morel & Bergeron, 2019). Ponadto nie ma określonych kryteriów diagnostycznych dla PPU (Brand i wsp., 2020, Chen i Jiang, 2020, Cooper i wsp., 2001, Fernandez i Griffiths, 2019, Hertlein i Cravens, 2014, Wéry i Billieux, 2017). Aby badać i leczyć PPU, naukowcy opracowali skale, które mierzą różne aspekty PPU; jednak niewiele z nich zostało zweryfikowanych w różnych kulturach i różnych populacjach (Chen i Jiang, 2020, Fernandez i Griffiths, 2019, Wéry i Billieux, 2017).

2. Ocena problematycznego wykorzystania pornografii

Biorąc pod uwagę debaty na temat konceptualizacji i kryteriów diagnostycznych PPU, narzędzia oceny różniły się w poszczególnych badaniach i podkreślały różne cechy (Fernandez i Griffiths, 2019). Wiele skal zostało opartych w dużej mierze na proponowanych kryteriach zaburzeń hiperseksualnych (np. Inwentarz zachowań hiperseksualnych, Reid, Garos i Fong, 2012). Jednak ostatnie badania sugerują różnice między PPU a hiperseksualnością (Bőthe i in., 2019c). Hiperseksualność może obejmować wysokie zaangażowanie w różne zachowania seksualne, w tym masturbację, cyberseks, używanie pornografii, seks telefoniczny, zachowania seksualne z dorosłymi, którzy się na to zgadzają, wizyty w klubach ze striptizem i inne zachowania (Karila i wsp., 2014). Konsekwentnie, Hypersexual Behavior Inventory (HBI) ocenia zachowania hiperseksualne w szerszym zakresie (Brahim, Rothen, Bianchidemicheli, Courtois i Khazaal, 2019). Niektóre skale skupiały się bardziej ogólnie na kompulsywnych zachowaniach seksualnych (np. Kompulsywne używanie materiałów internetowych o charakterze jednoznacznie seksualnym), przy czym skale te oceniają cechy kompulsywnego wyszukiwania / oglądania pornografii w Internecie (Doornwaard, Eijnden, Baams, Vanwesenbeeck i Bogt, 2016), a nie tych, które dotyczą ogólnego kompulsywnego wykorzystywania pornografii i nie przeszły obszernej oceny psychometrycznej. Istnieją pewne zwięzłe skale, które mają na celu pomiar PPU, ale czasami były one krytykowane lub dyskutowane na temat ich trafności konstrukcji. Na przykład Cyber-Pornography Use Inventory-9 (CPUI-9, Grubbs, Sessoms, Wheeler i Volk, 2010) został wykorzystany do oceny samodzielnie zgłaszanego uzależnienia i rozważa niezgodność moralną, chociaż kwestionowano to, co dokładnie mierzy (Brand i in., 2019a). Kilka ostatnich skal zostało opracowanych w celu oceny aspektów i domen PPU bardziej ogólnie, w tym Krótki test uzależnienia od Internetu przystosowany do aktywności seksualnych online (s-IAT-sex; Wéry, Burnay, Karila i Billieux, 2015), Skala problematycznego wykorzystania pornografii (PPUS; Kor i wsp., 2014) oraz problematyczną skalę konsumpcji pornografii (PPCS-18; Bőthe i in., 2018b). Ostatnie dwie skale były zalecane w niedawnym przeglądzie systematycznym (Fernandez i Griffiths, 2019). Niedawno, w porównaniu z PPUS i s-IAT-sex, PPCS-18 wykazał wyższą czułość i większą dokładność w badaniach przesiewowych w kierunku PPU (Chen i Jiang, 2020).

Według naszej wiedzy PPCS-18 jest jedynym instrumentem, który ocenia sześć określonych składników jednego modelu uzależnienia: istotność, modyfikacja nastroju, konflikt, tolerancja, nawrót i wycofanie (Griffiths, 2005). W szczególności tolerancja i wycofanie są ważnymi wymiarami PPU, które nie są oceniane przez PPUS i s-IAT-płeć (Bőthe i in., 2018b; Fernandez i Griffiths, 2019). W porównaniu z innymi pomiarami PPU (tj. PPUS, s-IAT-płeć, CPUI-9), inną mocną stroną PPCS jest to, że jest to jeden z niewielu instrumentów, które zapewniają walidowany punkt odcięcia (≥76, zakres 18-126 ) w celu odróżnienia problematycznego od nieproblemowego wykorzystywania pornografii (Fernandez i Griffiths, 2019), co zwiększa jego użyteczność badawczą i kliniczną. Inny niedawno opublikowany ekran, Brief Pornography Screen (BPS, Kraus i wsp., 2020), zapewnia również odcięcie (≥4, zakres 0-10) do przesiewania pod kątem PPU. Biorąc pod uwagę jego zwięzłość i jednowymiarową strukturę, BPS nie ocenia komponentów, takich jak tolerancja. Chociaż zaproponowano tygodniowe ograniczenia czasu użytkowania (Cooper i wsp., 2000, Mechelmans i in., 2014), czas użytkowania nie jest konsekwentnie powiązany z PPU (Bőthe, Tóth-Király, Potenza, Orosz i Demetrovics, 2020b; Chen i wsp., 2019, Kühn i Gallinat, 2014). Ponadto zbieżna i rozbieżna trafność PPCS została poparta w badaniach dotyczących seksualności (Bőthe, Tóth-Király, Demetrovics i Orosz, 2017) i osobowościowych (Bőthe, Koós, Tóth-Király, Orosz, & Demetrovics, 2019a; Bőthe i in., 2019c; Bőthe, Tóth-Király, Potenza, Orosz i Demetrovics, 2020b).

Pomimo wcześniej przedstawionych silnych właściwości psychometrycznych PPCS-18, potrzebne są badania w celu dalszego zbadania jego właściwości w kontekstach kulturowych i klinicznych / subklinicznych (Bőthe, Tóth-Király, Demetrovics & Orosz, 2020a; Bőthe et al., 2018b), jak na przykład cechy kulturowe mogą wpływać na negatywne postawy wobec wykorzystywania pornografii (Griffiths, 2012, Vaillancourt-Morel i Bergeron, 2019). Argumentowano, że korzystanie z pornografii może być uważane przez samego siebie za problematyczne w jednym kontekście kulturowym, religijnym lub moralnym, a prawdopodobnie nie w innym (Grubbs i Perry, 2019). Wcześniejsze badania PPCS-18 mogą mieć ograniczenia kulturowe, ponieważ były prowadzone głównie na Węgrzech (Bőthe i in., 2018a; Bőthe i in., 2019b; Bőthe i in., 2020a; Bőthe, Lonza i in., 2020). Może to stanowić istotne ograniczenie, ponieważ normy, systemy wartości i doświadczenia osób z innych środowisk kulturowych mogą różnić się od w dużej mierze zachodnich perspektyw na Węgrzech. Jeśli chodzi o wykorzystywanie pornografii i inne zachowania seksualne, odnotowano różnice w postawach seksualnych, zachowaniach i samopoczuciu między kulturami wschodnimi i zachodnimi (Laumann i in., 2006). Dlatego potrzebne są badania nad PPU, aby zapewnić, że oceny są zarówno możliwe do przetłumaczenia, jak i dokładne w różnych kulturach (Kraus i Sweeney, 2019). Istnieje stosunkowo niewiele badań empirycznych dotyczących PPU w Chinach i innych krajach wschodnich, a tylko kilka badań obejmowało uczestników z krajów wschodnich (Fernandez i Griffiths, 2019), a międzykulturowe porównania społeczności nie zostały zbadane.

Osoby z PPU mogą wykazywać określone cechy, w tym silne pragnienia, słabą samokontrolę, ciągłe zaangażowanie pomimo upośledzeń społecznych lub zawodowych oraz niekorzystne konsekwencje, a także używanie pornografii w sposób nieadaptacyjny, taki jak ucieczka od stresu lub negatywnych stanów nastroju (Chen i wsp., 2018, Cooper i wsp., 2004, Kraus i wsp., 2016, Young i wsp., 2000). Wéry i in. (2016) podali, że 90% uczestników z PPU zgłosiło współwystępujące diagnozy psychiatryczne, a tylko kilka skal zostało zweryfikowanych w próbkach wymagających leczenia (Bőthe i in., 2020a; Kraus i wsp., 2020). Tak więc, oprócz częstotliwości czynności seksualnych w Internecie, do zbadania trafności kryterium PPCS wykorzystano głód, kompulsywne zachowania seksualne i ogólny stan zdrowia psychicznego. Podsumowując, w większości badań oceny PPU, takich jak PPCS-18, stosowano głównie próbki niekliniczne i zachodnie; w związku z tym potrzeba więcej badań w celu walidacji PPCS-18 w bardziej zróżnicowanych próbkach, w tym w populacji klinicznej lub subklinicznej oraz w różnych kulturach.

3. Podejście sieciowe w psychopatologii

Stany psychopatologiczne mogą istnieć jako złożone systemy dynamiczne obejmujące oddziałujące ze sobą komponenty (Borsuk, 2017). W przeciwieństwie do niektórych modeli utajonych, podejścia sieciowe sugerują, że zaburzenia psychologiczne obejmują sieci powiązanych objawów, a poszczególne stany psychiczne mogą bardziej polegać na bezpośrednich powiązaniach między objawami niż na istnieniu ukrytych zmiennych (Werner, Stulhofer, Waldorp i Jurin, 2018). Teorie i metodologie sieci były owocnie stosowane do różnych zjawisk psychopatologicznych, w tym zaburzeń związanych z używaniem alkoholu (Anker i in., 2017), niepokój (Beard i in., 2016), depresja (Schweren, van Borkulo, Fried i Goodyer, 2018) i hiperseksualność (Werner i in., 2018). Takie modele sieci mogą dostarczyć ważnych informacji na temat centralności określonych domen i wzorców ich relacji. Dlatego w obecnym badaniu zastosowaliśmy podejście sieciowe do oceny topologii sieci PPU i zidentyfikowania symptomów, które zajmują centralne pozycje w sieci, oraz zbadaliśmy wzorce zależności domen symptomów w różnych populacjach. Podejście to zapewni wgląd w to, jak PPU może oddziaływać na symptomatologię w różnych kulturach oraz w próbkach społecznych i subklinicznych.

4. Cele niniejszego opracowania

Biorąc pod uwagę, że mężczyźni w stosunku do kobiet zwykle wykazują silniejszy apetyt na pornografię i częstsze korzystanie (Weinstein, Zolek, Babkin, Cohen i Lejoyeux, 2015), częściej PPU (Kafka, 2010, Kraus i wsp., 2016, Kraus i wsp., 2015) i bardziej poszukiwania leczenia PPU (Bőthe i in., 2020a), celem niniejszego badania było (1) zbadanie wiarygodności, struktury i zbieżnej trafności PPCS-18 zarówno w próbach społecznych, jak i subklinicznych chińskich mężczyźni; oraz (2) zbadanie i porównanie struktury czynnikowej PPCS-18 w próbach węgierskich i chińskich oraz w próbach społecznych i subklinicznych; oraz (3) zbadanie zakresu, w jakim PPCS-18 odzwierciedla cechy związane z różnymi populacjami w analizach typologii sieci.

5. metoda

5.1. Uczestnicy i procedura

Badanie zostało przeprowadzone zgodnie z Deklaracją Helsińską, a protokół został zatwierdzony przez Komisję Etyki Wydziału Psychologii Uniwersytetu Fuzhou oraz Uniwersytet Eötvös Loránd. Gromadzenie danych odbywało się za pomocą ankiet internetowych. Uczestnicy zostali poinformowani o celach badania. W konkursie mogły brać udział tylko osoby, które ukończyły 18 lat.

Próbka 1: próbka społeczności chińskich mężczyzn. To badanie online zostało przeprowadzone za pośrednictwem popularnej chińskiej witryny ankietowej, a mianowicie Wenjuanxing (www.sojump.com, strona taka jak Survey monkey). Łącznie 695 dorosłych mężczyzn (w wieku od 18 do 48 lat, Mwiek = 25.39, SD = 7.18) rekrutowano spośród uczestników ze 110 miast w 28 z 34 prowincji / regionów w Chinach (tj. Zidentyfikowanych za pomocą adresów protokołu internetowego). W maju 2019 roku do potencjalnych uczestników zostały wysłane e-maile z linkiem przekierowującym na stronę ankiety oraz krótkie wprowadzenie do naszej ankiety, a osoby zainteresowane zostały zaproszone do udziału w ankiecie. W tej próbie najczęściej zgłaszanymi orientacjami seksualnymi były heteroseksualne (94.4%, 656), biseksualne (4.2%, 29) i homoseksualne (1.4%, 9). Zgłoszony stan związku obejmujący bycie singlem (50.5%, 351), posiadanie partnerów seksualnych (48.0%, 334) i posiadanie przypadkowych partnerów seksualnych (1.4%, 14).

Próbka 2: subkliniczna próbka chińskich mężczyzn. Zaprosiliśmy 5536 mężczyzn (Mwiek = 22.70 lat, SD = 4.33), którzy czuli, że doświadczyli PPU i szukali pomocy na stronie internetowej (www.ryeboy.org/, strona non-profit skupiająca się na interwencjach dla PPU). Uczestnicy ci byli nowo zarejestrowanymi użytkownikami i zostali sprawdzeni pod kątem potencjalnych PPU za pomocą BPS (Kraus i wsp., 2020). Kraus i in. (2020) zasugerowali punkt odcięcia BPS ≥ 4, aby wskazać PPU, a 4651 osób spełniło to kryterium. W tej próbce zgłoszone orientacje seksualne były heteroseksualne (93.1%, 4330), biseksualne (3.1%, 144) i homoseksualne (3.8%, 177). Zgłoszony status związku obejmował bycie singlem (81.6%, 3795), posiadanie partnerów seksualnych (16.9%, 786) i posiadanie przypadkowych partnerów seksualnych (1.5%, 70).

Próbka 3: Próbka społeczna złożona z węgierskich mężczyzn. Badanie na Węgrzech było częścią większego projektu (https://osf.io/dzxrw/?view_only=7139da46cef44c4a9177f711a249a7a4; Bőthe et al., 2019b). Respondenci zostali zaproszeni do udziału za pośrednictwem reklam na jednym z największych węgierskich portali informacyjnych w styczniu 2017 r. W badaniu wzięło udział łącznie 10,582 18 mężczyzn; jednak, aby dopasować wiek do chińskiej próby, wybraliśmy tylko uczestników w wieku od 48 do 9395 lat, co dało próbę XNUMX węgierskich mężczyzn (Mwiek = 23.35 lat, SD = 3.34). PPCS został opracowany w innej węgierskiej próbie (Bőthe i in., 2018b), a wiarygodność i trafność strukturalną opisywano wcześniej w kontekście kulturowym Węgier (Bőthe i in., 2018b; Bőthe i in., 2019b; Bőthe i in. ., 2020b). Jeśli chodzi o status związku, 30.3% (2847) było stanu wolnego, 68.5% (6436) pozostawało w jakimkolwiek związku romantycznym (tj. Będąc w związku, zaręczonym lub żonatym), a 1.2% (113) wskazało na „inne” opcja.

6. Środki

Krótki ekran pornografii (BPS, Kraus i wsp., 2020)1. BPS to narzędzie przesiewowe dla PPU (Efrati i Gola, 2018, Gola i wsp., 2017). Jest to ocena składająca się z pięciu pozycji i wykorzystuje trzypunktową skalę ocen dla każdej pozycji (0 = nigdy, 1 = okazjonalnie, 2 = zawsze). Alfa Cronbacha BPS wynosiła 89 w próbie chińskiej społeczności i 74 w chińskiej próbie podklinicznej.

Problem

Skala konsumpcji pornografii atycznej (PPCS-18, Bőthe i in., 2018b). Tłumaczenie PPCS było zgodne z wytycznymi dotyczącymi procesu międzykulturowego dostosowania środków samoopisowych (Beaton, Bombardier, Guillemin i Ferraz, 2000). Pierwotny PPCS został przetłumaczony na język chiński przez dwóch absolwentów, z których jeden studiował psychologię, a drugi język chiński. PPCS obejmuje 18 pozycji i sześć podstawowych elementów: istotność, modyfikację nastroju, konflikt, tolerancję, nawrót i wycofanie, a każdy czynnik obejmował trzy elementy. Odpowiedzi rejestrowano w następującej 7-stopniowej skali: 1 = nigdy, 2 = rzadko, 3 = sporadycznie, 4 = czasami, 5 = często, 6 = bardzo często, 7 = cały czas. Alfa Cronbacha PPCS-18 wyniosła 95 w próbie społeczności chińskiej, 94 w próbie węgierskiej i 94 w próbie podklinicznej chińskiej.

Kwestionariusz głodu pornografii (PCQ, Kraus i Rosenberg, 2014). Ten 12-punktowy kwestionariusz jest jednowymiarową oceną (Kraus i Rosenberg, 2014, Rosenberg i Kraus, 2014). Respondenci byli zobowiązani do wskazania, w jakim stopniu zgadzają się z każdą pozycją, korzystając z następujących siedmiu opcji odpowiedzi (przedstawionych bez cyfr): „całkowicie się nie zgadzam”, „nieco się nie zgadzam”, „trochę się nie zgadzam”, „ani się nie zgadzam, ani nie zgadzam”, „zgadzam się” trochę ”,„ częściowo się zgadzam ”i„ całkowicie się zgadzam ”. Wyższe wyniki wskazują na większe pragnienie pornografii. Chińska wersja PCQ została wykorzystana w poprzednim badaniu (Chen i wsp., 2019). Alfa Cronbacha w tej skali wyniosła 92 w próbie chińskiej społeczności i 91 w chińskiej próbie subklinicznej.

Skala Kompulsywności Seksualnej (SCS, Kalichman & Rompa, 1995). Stopień, w jakim uczestnicy wykazują cechy kompulsywności seksualnej, oceniano za pomocą dziesięciopunktowego SCS. Odpowiedzi zapisywano na czterostopniowej skali ocen (1 = zupełnie nie tak jak ja, 2 = trochę jak ja, 3 = głównie jak ja, 4 = bardzo jak ja). Chińska wersja SCS została wcześniej opisana (Chen i Jiang, 2020). SCS wykazał doskonałą wiarygodność w obecnym badaniu (α wynosiło 91 u mężczyzn w społeczności i 90 u mężczyzn bez kliniki).

Kwestionariusz aktywności seksualnych online Wersja chińska (OSA, Zheng i Zheng, 2014). Trzynaście pozycji zostało wykorzystanych do zmierzenia korzystania przez uczestników z internetu w następujących celach: (1) oglądanie materiałów o charakterze jednoznacznie seksualnym (SEM), (2) poszukiwanie partnerów seksualnych, (3) cyberseks oraz (4) flirtowanie i podtrzymywanie relacji seksualnych. Alfa Cronbacha dla całej skali wynosiła 84 u mężczyzn ze społeczności chińskiej i 81 u mężczyzn bez kliniki. Wyższe wyniki wskazywały na częstsze angażowanie się w OBS.

12-punktowy Kwestionariusz Ogólnego Zdrowia (GHQ-12, Goldberg i Hillier, 1979). GHQ-12 jest szeroko stosowanym narzędziem do badań przesiewowych w przypadku powszechnych zaburzeń psychicznych i jest zalecany jako wykrywacz przypadków, ponieważ jest uważany za krótki, skuteczny i solidny i działa równie dobrze jak jego dłuższe wersje (Goldberg i in., 1997, Petkovska i in., 2015). GHQ-12 został przetłumaczony na wiele języków, w tym chiński, a jego właściwości psychometryczne były badane w wielu różnych populacjach (Pan i Goldberg, 1990, Petkovska i in., 2015). GHQ-12 obejmuje łącznie 12 pozycji (sześć pozytywnych i sześć negatywnych), z których każdy został oceniony na czteropunktowej skali Likerta, przy czym wyższe wyniki odzwierciedlają gorszy stan zdrowia psychicznego. Alfa Cronbacha na skali wyniosła 89 u mężczyzn ze społeczności chińskiej i 93 u mężczyzn w stanie subklinicznym.

7. Analizy statystyczne

Najpierw przeprowadzono CFA na węgierskich mężczyznach, a następnie na próbce 1 i próbce 2, aby zweryfikować wyniki w społeczności i próbach subklinicznych chińskich mężczyzn. Do estymacji parametrów zastosowano estymator najmniejszych kwadratów skorygowany o średnią i wariancję (WLSMV). Wskaźniki dopasowania modelu określano za pomocą porównawczego wskaźnika dopasowania (CFI), wskaźnika Tuckera-Lewisa (TLI), pierwiastka średniego błędu kwadratowego aproksymacji (RMSEA) i standaryzowanego pierwiastka średniokwadratowego (SRMR). Wartości CFI i TLI większe niż 95 uznano za doskonałe dopasowanie (≥ 90 w przypadku akceptowalnego dopasowania). Wartości RMSEA poniżej 06 uznano za doskonałe (≤ 08 dla odpowiedniego dopasowania i ≤ 10 dla akceptowalnego dopasowania z 90% przedziałem ufności) (Browne i Cudeck, 1993, Schermelleh-Engel i in., 2003). Wartości SRMR mniejsze niż 0.08 (≤,06 dla dobrego dopasowania) uznano za wskazujące na akceptowalny model (Hu i Bentler, 1999). Dodatkowo, aby przetestować niezmienność pomiarów w różnych kontekstach kulturowych (węgierski i chiński) oraz populacjach społeczności i subklinicznych, przeprowadzono wielogrupowe CFA na trzech próbkach. W każdym przypadku przetestowano i porównano sześć poziomów niezmienności: konfiguracyjną, metryczną, skalarną, resztkową, utajoną wariancję i utajoną średnią. Porównując coraz bardziej ograniczone modele, zaobserwowano względne zmiany wskaźników dopasowania, z zalecanym dopuszczalnym zakresem w następujący sposób: ΔCFI ≤ 010; ΔTLI ≤ 010; i ΔRMSEA ≤ 015 (Meade, Johnson i Braddy, 2008).

Obliczono również wartości alfa Cronbacha i rzetelności złożonej (CR). Oceniono powiązania między skalą kompulsywności seksualnej (SCS), kwestionariuszem głodu pornografii (PCQ), kwestionariuszem ogólnego stanu zdrowia (GHQ-12), częstością OBS, BPS i PPCS-18, aby potwierdzić ważność PPCS-18. Korelacje między zmiennymi zbadano za pomocą współczynników korelacji Pearsona po uwzględnieniu wieku, orientacji seksualnej i statusu związku.

Oszacowaliśmy i przeanalizowaliśmy sieci PPCS-18 w dwóch etapach. Pierwszym krokiem było ustanowienie regularyzowanej sieci, znanej również jako pole losowe markowa. Regresja LASSO została przyjęta w celu dostosowania w celu zmniejszenia pojawiania się fałszywych połączeń. Jak opisano wcześniej (Epskamp & Fried, 2017) hiperparametr EBIC został ustawiony na 5. Po drugie, oceniliśmy względną pozycję węzłów za pomocą statystyk centralności i przetestowaliśmy trzy typowe metryki centralności: siłę węzła, bliskość i centralność między. Wśród nich centralność między węzłami odnosi się do liczby przypadków, w których węzeł pozostaje na najkrótszej ścieżce między innymi węzłami. Centralność bliskości jest odwrotnością sumy najkrótszych ścieżek z jednego węzła do wszystkich innych węzłów. Ponadto porównaliśmy globalną siłę łączności dla każdej sieci (tj. Sumę wszystkich powiązanych mocnych stron) za pomocą testu porównania sieci. Wszystkie analizy sieci zostały przeprowadzone przy użyciu qgraph, dplyr, test porównawczy sieci, bootnet pakiety w R. (wersja 3.6.2).

8. Wyniki

8.1. Ważność i niezawodność PPCS-18 w społeczności chińskiej i mężczyznach bez kliniki

Wyniki odnoszące się do korelacji pozycji-suma, CFA, rzetelności i zbieżnej trafności przedstawiono w Tabela 1. Współczynniki korelacji pozycji i odpowiadające im wyniki całkowite zostały obliczone w celu wykazania odpowiedniego dopasowania analizy pozycji: PPCS-18 miał silne korelacje między pozycjami u subklinicznych mężczyzn z Chin, a PPCS-18 wykazał dobre lub akceptowalne wskaźniki dopasowania przy użyciu CFA wśród dwie próbki społeczności. Chociaż RMSEA był nieco wyższy niż próg u mężczyzn z subklinicznymi objawami, CFI, SRMR były dobre, a TLI było akceptowalne. Na podstawie analiz korelacji, PPCS-18 miał pozytywne skojarzenia z jakościowymi wskaźnikami kompulsywności seksualnej, głodu pornografii i ogólnego zdrowia psychicznego, a następnie wskaźniki ilościowe, w tym częstotliwość OBS.

Tabela 1. Niezawodność i trafność PPCS-18 w trzech grupach mężczyzn

próbkirs (korelacja łączna pozycji)Analiza czynnikiem potwierdzającym
WLSMVχ 2/dfSPITLIRMSEA [90% CI]SRMRαCR
Węgierscy ludzie ze społeczności(.58- .73) ***7155.758/120.973.965.079 [.077, .081].029.94.97
Chińscy ludzie ze społeczności(.61- .83) ***723.926/120.980.974.085 [.079, .091].026.95.97
Chińczycy szukający pomocy(.53- .79) ***6381.479/120.951.938.106 [.104, .108].035.94.96

Uwagi. CFI = porównawczy wskaźnik dopasowania, TLI = indeks Tuckera-Lewisa, RMSEA = średni kwadratowy błąd aproksymacji, CI = przedział ufności, SRMR = znormalizowana pierwiastkowa średnia kwadratowa reszty; α = alfa Cronbacha; CR = niezawodność złożona *** p <001.

9. Test niezmienności pomiarów PPCS-18 w różnych kulturach oraz u mężczyzn w społeczności i ludziach subklinicznych

Wyniki niezmienności pomiarów przedstawiono w tabela 3. W przypadku niezmienności konfiguracji RMSEA była nieco wyższa niż zalecana wartość progowa (tj. 10), ale model wykazał akceptowalne wskaźniki dopasowania na CFI, TLI i SRMR. Dlatego zachowaliśmy ten model na potrzeby dalszych etapów testowania niezmienności. W modelu metrycznym wskaźniki dopasowania były bardziej odpowiednie w porównaniu z poprzednim modelem. Następnie uzyskano niezmienność skalarną i resztkową, ale nie uzyskano utajonej średniej niezmienności, co sugeruje obecność utajonych średnich różnic między zbiorowością a mężczyznami w stanie subklinicznym (zob. Tabela 3). Gdy średnie utajone różnice subklinicznych mężczyzn zostały ograniczone do zera w celu identyfikacji modelu, utajone średnie osobników w społeczności mężczyzn były znacznie niższe niż utajone średnie uczestników w grupie subklinicznej mężczyzn (Próba 1: -0.88 do -1.81 SD w sześciu czynnikach p <001; Próbka 3: -0.39 do -2.46 SD w sześciu czynnikach p <01), co wskazuje, że osoby z subklinicznymi wynikami wykazywały znacznie wyższe wyniki w PPCS niż osoby w próbach społeczności chińskiej i węgierskiej. Podsumowując, PPCS-18 miał podobne znaczenie i ukrytą strukturę w społecznościach chińskich i węgierskich i może być używany do porównań mężczyzn z Chin i Węgier.

10. Interakcja sześciu czynników PPCS-18 w każdej próbce

Wyniki pól losowych Markowa pokazały, że istnieje znacząca różnica między mężczyznami z Węgier i Chin (p <01). Wśród społeczności chińskiej i mężczyzn z subklinicznymi objawami konflikt był negatywnie powiązany z istotnością; w przeciwnym razie konflikt nie dotyczył bezpośrednio istotności i miał dodatnie korelacje z innymi czynnikami wśród węgierskich mężczyzn (zob Rysunek 1). Schematyczne diagramy społeczności chińskiej i mężczyzn z grupy subklinicznej były podobne i nie zaobserwowano żadnej znaczącej różnicy w globalnej sile łączności (p = 0.6). Szacunki centralności przedstawiono w Rysunek 2 (działki centralne). W sieciach trzech próbek wycofanie było najbardziej centralnym węzłem, podczas gdy tolerancja była również centralnym węzłem w sieci osób subklinicznych. Na poparcie tych szacunków wycofanie charakteryzowało się wysoką przewidywalnością we wszystkich sieciach (mężczyźni ze społeczności chińskiej: 76.8%, mężczyźni ze społeczności chińskiej: 68.8% i mężczyźni ze społeczności węgierskiej: 64.2%).

Rysunek 1. Schemat sieciowy w trzech grupach mężczyzn. Uwagi. Sieć mężczyzn ze społeczności chińskiej jest przedstawiona po lewej stronie, a sieć dla mężczyzn ze społeczności węgierskiej po prawej stronie. Środek to sieć chińskich mężczyzn z próby subklinicznej. Pełne krawędzie wskazują dodatnie, a przerywane krawędzie wskazują ujemne relacje.

Rysunek 2. Wykres centralności węzłów w trzech grupach mężczyzn

11. Dyskusja

Chociaż naukowcom i klinicystom dostępnych jest kilka skal do oceny PPU, kilka z nich zostało później ponownie zweryfikowanych w różnych kulturach, a właściwości psychometryczne skal u mężczyzn z subklinicznymi wynikami rzadko były badane. Ponadto, jak są powiązane domeny objawów związane z PPU (tj. Współzależności między nasileniem, wycofaniem, tolerancją, modyfikacją nastroju, konfliktem i nawrotami) w takich próbkach jest słabo poznane (Bőthe, Lonza i in., 2020). Dlatego zbadaliśmy niezawodność i ważność PPCS-18 w kontekście chińskim i wykazaliśmy poparcie dla jego stosowania w społeczności chińskiej i mężczyznach bez kliniki. Chińska wersja PPCS-18 wykazała wysoką spójność wewnętrzną, złożoną niezawodność i zbieżną trafność zarówno w społeczności chińskiej, jak iu mężczyzn w stanie subklinicznym. Testy niezmienności pomiarów sugerują, że skala ma podobne zastosowanie do społeczności węgierskiej, chińskiej i chińskiej populacji subklinicznej, potwierdzając potencjalną międzykulturową i kliniczną użyteczność skali. Analiza sieci wykazała, że ​​interakcja między sześcioma czynnikami PPCS-18 była znacząco różna u mężczyzn z Węgier i Chin. Szacunki centralności wskazują, że głównymi objawami próby subklinicznej były wycofanie i tolerancja, ale tylko domena wycofania była centralnym węzłem w obu próbkach społeczności.

12. Ważność i wiarygodność PPCS-18 w chińskich populacjach

Trafność konstruktu i niezawodność PPCS-18 zostały sprawdzone krzyżowo na tych trzech niezależnych i odrębnych próbkach. Nie tylko potwierdzono trafność konstrukcyjną PPCS-18, ale także jej zbieżną trafność ustalono, zgłaszając jej związki z głodem pornografii, kompulsywnymi zachowaniami seksualnymi, częstością OBS i ogólnym poziomem zdrowia psychicznego uczestników. Podobnie jak we wcześniejszym badaniu (Bőthe et al., 2020b), częstość OBS nie okazała się wiarygodnym wskaźnikiem PPU ze względu na współczynniki korelacji między czterema podtypami OBS i PPCS-18, od małych do dużych, co sugeruje, że PPCS-18 może być również wrażliwy na ilościowe aspekty PPU w kontekście chińskim, chociaż ta możliwość wymaga dodatkowych badań.

Oprócz częstotliwości konsumpcji należy wziąć pod uwagę aspekty jakościowe, takie jak treści, które mogą wywołać głód pornografii (Kraus i Rosenberg, 2014). Subiektywne doświadczenie głodu jest częstym elementem uzależnień (Kraus i Rosenberg, 2014) i ma znaczenie w przewidywaniu wystąpienia, utrzymywania się i nawrotu zachowań uzależniających po odstawieniu (Drummond, Litten, Lowman i Hunt, 2000). Zgodne z wcześniejszymi badaniami (Gola i Potenza, 2016, Young i wsp., 2000), gorsze wyniki w zakresie zdrowia psychicznego i bardziej kompulsywne zachowania seksualne korelowały z wyższymi wynikami PPCS. Wyniki te sugerują, że wskazane może być rozważenie głodu, czynników zdrowia psychicznego i kompulsywnego stosowania w badaniach przesiewowych i diagnozowaniu PPU (Brand, Rumpf i wsp., 2020).

PPCS-18 wykazał niezmienność skali u mężczyzn ze społeczności węgierskiej i chińskiej, co wskazywało, że może być niezawodnie stosowany w obu kulturach. Dodatkowo, testowanie niezmienności pomiarów wykazało, że utajona średnia wyników PPCS-18 była wyższa wśród subklinicznych mężczyzn niż w społeczności, co potwierdza wcześniejsze ustalenia (Bőthe i in., 2020a; Bőthe, Lonza, i in., 2020). Mężczyźni subkliniczni odnotowali wyższe wyniki dla wszystkich sześciu czynników PPCS-18 w porównaniu z mężczyznami ze społeczności (zob Tabela 2), dodatkowo potwierdzając jej trafność, a także demonstrując potencjalną użyteczność kliniczną skali. Zgodnie z obecnymi ustaleniami, osoby z PPU często wykazują głód, słabą samokontrolę, gorsze zdrowie psychiczne (Chen i wsp., 2018, Cooper i wsp., 2004). Ponadto nadmierne używanie i słaba kontrola (tj. Trudności w kontrolowaniu popędów / głodu) są wspólne dla różnych definicji i skal oceniających PPU (Bőthe i in., 2017, Goodman, 1998, Kafka, 2013, Kraus i wsp., 2016, Wéry i Billieux, 2017). Nasze dane potwierdzają, że PPCS-18 wykazuje podobne cechy w Chinach, jak w innych jurysdykcjach i wśród mężczyzn bez kliniki.

Tabela 2. Analiza opisowa i powiązania między wynikami PPCS-18 a innymi pomiarami w społeczności chińskiej i u mężczyzn z objawami subklinicznymi

WagaChińscy mężczyźni ze społeczności (N = 695)Chińscy mężczyźni podkliniczni (N = 4651)
łodzieSkośność (SE)Kurtoza (SE)M (SD)PPCS-18Skośność(WIEM)Kurtoza (SE)M (SD)PPCS-18

PPCS-18

1-7 76 (09)-0.15 (19)2.58 (1.31)_0.10 (.04)-0.63 (07)4.36 (1.33)***_
1.1 Ciało1-7 1.01 (.09)0.72 (.19)2.22 (1.20).78***0.50 (.04)-0.88 (07)3.39 (1.65)***.82***
1.2 modyfikacja nastroju1-7 0.85 (.09)-0.06 (19)2.48 (1.44).82***0.22 (.04)-0.47 (07)3.76 (1.74)***.82***
Konflikt z 1.3 r1-7 0.79 (.09)-0.36 (19)2.82 (1.73).81***-0.50 (04)-0.99 (07)5.09 (1.49)***.75***
1.4 tolerancja1-7 1.24 (.09)0.83 (.19)2.34 (1.52).90***-0.07 (04)-0.60 (07)4.34 (1.73)***.88***
1.5 nawrót1-7 0.71 (.09)-0.61 (19)2.95 (1.80).89***-0.60 (04)-0.45 (07)5.30 (1.47)***.77***
1.6 wycofanie1-7 0.92 (.09)0.13 (.19)2.53 (1.48).91***0.01 (.04)-0.89 (07)4.31 (1.65)***.88***

SCS

1-4 0.76 (.09)0.10 (.19)1.99 (0.71).75 ***-0.29 (04)-0.49 (07)2.90 (0.68)***.57 ***

PCQ

1-7 0.57 (.09)-0.36 (19)2.94 (1.30).74 ***0.26 (.04)-0.67 (07)4.23 (1.37)***.65 ***

BPS

0-2 0.40 (.09)-0.96 (19)0.75 (0.61).81 ***-0.43 (04)-1.15 (07)1.55 (0.39)***.61 ***

GHQ

0-3 1.10 (.09)1.37 (.19)0.93 (0.55).43 ***0.18 (.04)-0.68 (07)1.57 (0.69)***.38 ***

OSA

1-9 1.39 (.09)2.32 (.19)2.20 (1.01).56 ***1.68 (.04)4.03 (.07)2.90 (1.15)***.39 ***
6.1 Wyświetlanie SEM1-9 0.83 (.09)0.29 (.19)2.91 (1.44).63 ***0.32 (.04)-0.07 (07)4.49 (1.55)***.48 ***
6.2 Flirt i związek1-9 1.62 (.09)2.03 (.19)2.10 (1.56).14 ***2.12 (.04)4.29 (.07)1.95 (1.58)***.08 ***
6.3 Poszukiwanie partnera1-9 2.35 (.09)5.36 (.19)1.63 (1.24).26 ***2.87 (.04)8.75 (.07)1.64 (1.43).15 ***
6.4 Cyberseks1-9 2.27 (.09)6.08 (.19)1.65 (1.13).41 ***1.98 (.04)3.88 (.07)2.02 (1.61)***.22 ***

Uwagi. PPCS-18 został opracowany w próbce węgierskiej, więc nie mierzono próbki zewnętrznej i zbieżnej w próbce węgierskiej. SCS = skala kompulsywności seksualnej, PCQ = kwestionariusz głodu pornografii, OSA = czynności seksualne online, BPS = krótki ekran pornografii, GHQ = kwestionariusz dotyczący ogólnego stanu zdrowia, SEM = materiał o charakterze jednoznacznie seksualnym. ***wyżej M (SD) mężczyzn z subklinicznymi objawami wskazuje na istotną różnicę w porównaniu z mężczyznami ze społeczności.

***

p <001.

Tabela 3. Wskaźniki testu niezmienności pomiaru dla PPCS-18 w kontekstach kulturowych i wśród mężczyzn w społeczności / subklinicznych

ModelWLSMVχ2(df)SPITLIRMSEA90% CISRMR△ χ2(df)△ CFI△ TLI△ RMSEA
(A) Konfiguracja25622.135 * (360).935.917.120.118-.121.035----
(B) Metryczne15057.070 * (384).962.955.088.087-.089.031-12490.935 * (24).007.038-. 032
(DO)

Skalarny

16788.044 * (552).958.965.077.076-.078.0341730.974 * (168)-. 004.010-. 011
(D) Pozostała17521.081 * (588).956.966.077.076-.078.038733.037 * (36)-. 002.001.000
(E) Utajona wariancja8649.892 * (630).981.986.049.048-.050.050-8871.189 * (42).025.020-. 028
(F) Ukryte środki74078.612 * (642).811.865.153.152-.154.08265428.72 * (12)-. 170-. 121.104

Uwagi. WLSMV = estymator ważony metodą najmniejszych kwadratów skorygowany o średnią i wariancję; χ2 = Chi-kwadrat; df = stopnie swobody; △ TLI jest różnicą TLI modelu wierszowego i poprzedniego modelu; △ CFI to różnica CFI między modelem wierszowym a poprzednim modelem. △ RMSEA to zmiana RMSEA modelu rzędowego i poprzedniego modelu. Pogrubione litery wskazują ostateczne poziomy niezmienności, które zostały osiągnięte. *p <01

13. Sieci objawów PPU u mężczyzn środowiskowych i subklinicznych

Podobnie jak w przypadku zastosowania podejścia sieciowego w hiperseksualności (Werner i in., 2018) zastosowaliśmy to podejście do PPU w celu zbadania, czy PPCS-18 wykazuje podobne lub odrębne zależności w różnych próbkach. Ogólna topologia sieci w trzech próbkach sugeruje, że relacje między domenami PPCS-18 mogą mieć różnice kulturowe. U Chińczyków czynnik konfliktu był negatywnie powiązany z wyrazistością, podczas gdy u Węgierów ten czynnik nie dotyczył konfliktu. Równolegle z masowymi zmianami społeczno-gospodarczymi w Chinach w ostatnich dziesięcioleciach, coraz więcej Chińczyków krytykuje konserwatywne postawy seksualne, zwłaszcza tych, którzy definiują seks jako niemoralny, a zamiast tego zaczęli podkreślać znaczenie przyjemności seksualnej (Lin, 2018, Wonga, 2014). W obecnym badaniu uczestnikami byli mężczyźni. W dominujących scenariuszach seksualnych w Chinach mężczyźni są zachęcani do wyrażania seksualności i okazywania bardziej liberalnych postaw seksualnych (Zheng i in., 2011). Dlatego też, kiedy myśli mężczyzn koncentrują się na pornografii, mogą nie doświadczać konfliktu. Z drugiej strony ocena komponentu „konfliktu” w PPCS ogranicza się do uwzględnienia bardziej peryferyjnych aspektów konfliktu (np. Negatywnego wpływu na życie seksualne) i wykluczenia bardziej centralnych aspektów konfliktu (np. Konfliktu międzyludzkiego) (Fernandez i Griffiths, 2019). Jednak dokładne przyczyny leżących u podstaw różnic w relacjach między mężczyznami chińskimi i węgierskimi w relacjach między konfliktem a istotnością wymagają dodatkowych badań, zwłaszcza biorąc pod uwagę, że czynniki takie jak akceptacja społeczna i rządowe regulacje dotyczące korzystania z pornografii mogą się różnić w zależności od jurysdykcji.

Ponadto szacunki centralności w sześciu czynnikach PPCS-18 wykazały wycofanie jako najważniejszy czynnik we wszystkich trzech próbach. Zgodnie z wynikami siły, bliskości i centralności pomiędzy pacjentami subklinicznymi, tolerancja również miała istotny wpływ, ustępując jedynie wycofaniu. Wyniki te sugerują, że wycofanie i tolerancja są szczególnie ważne u osób z objawami subklinicznymi. Tolerancja i wycofanie są uważane za fizjologiczne kryteria uzależnień (Himmelsbach, 1941). Pojęcia takie jak tolerancja i wycofanie powinny stanowić kluczową część przyszłych badań nad PPU (de Alarcón i in., 2019, Fernandez i Griffiths, 2019). Griffiths (2005) postulował, że aby każde zachowanie można było uznać za uzależniające, powinny występować objawy tolerancji i odstawienia. Nasze analizy potwierdzają pogląd, że domeny wycofania i tolerancji są ważne klinicznie dla PPU. Zgodnie z poglądem Reida (Reid, 2016), dowody na tolerancję i wycofanie się pacjentów z kompulsywnymi zachowaniami seksualnymi mogą być ważnym czynnikiem w określaniu dysfunkcyjnych zachowań seksualnych jako uzależniających.

14. Ograniczenia i przyszłe badania

Niniejsze badanie nie jest pozbawione ograniczeń. Po pierwsze, stabilność czasowa nie została przetestowana. Po drugie, dane zebrano za pomocą środków samoopisowych; w związku z tym wiarygodność wyników zależy od uczciwości i dokładności respondentów oraz ich zrozumienia pozycji. Po trzecie, wartość RMSEA była nieco wyższa w próbkach subklinicznych, co uzasadnia dalsze badania. Uczestnikami byli tylko mężczyźni w wieku 18-48 lat; w związku z tym należy dokładniej zbadać możliwość zastosowania PPCS-18 w starszych populacjach i kobietach. Nadal nie jest jasne, czy na różnice związane z płcią mogą wpływać czynniki kulturowe lub jurysdykcyjne. Dlatego potrzeba więcej badań, aby zweryfikować PPCS-18 w bardziej zróżnicowanych próbach, w tym kobietach, różnych grupach wiekowych oraz innych kulturach i jurysdykcjach. Dodatkowo badana grupa subkliniczna została wyprowadzona z forum internetowego. Zakres, w jakim wyniki mogą rozciągać się na inne miejsca (np. Te zapewniające terapię twarzą w twarz), wymaga dalszych badań.

15. Wnioski

PPCS-18 miał silne właściwości psychometryczne u mężczyzn ze społeczności z Węgier i Chin oraz subklinicznych mężczyzn z Chin, którzy zgłaszali słabo kontrolowane używanie pornografii. W związku z tym PPCS-18 wydaje się być ważnym i wiarygodnym miernikiem oceny PPU w określonych jurysdykcjach zachodnich i wschodnich i może być stosowany wśród osób bez kliniki. Ponadto związki między domenami PPCS-18 mogą również odzwierciedlać odmienne cechy różnych populacji, a obecne wyniki sugerują, że wycofanie i tolerancja są ważne do rozważenia w PPU. Odkrycia pogłębiają zrozumienie poprzez zgłaszanie próbek subklinicznych i społecznych w Chinach, poszerzanie możliwości uogólniania PPCS-18 i badanie związków między różnymi domenami objawów w różnych kulturach.

Finansowanie

Badania były wspierane przez Narodową Fundację Nauk Społecznych Chin (Grant nr 19BSH117 i CEA150173) oraz Projekt Reformy Edukacji prowincji Fujian (FBJG20170038). BB został ufundowany przez stypendium podoktoranckie od Team SCOUP - Sexuality and Couples - Fonds de recherche du Québec, Société et Culture. ZD był wspierany przez Węgierskie Krajowe Biuro Badań, Rozwoju i Innowacji (numery grantów: KKP126835, NKFIH-1157-8 / 2019-DT). Zaangażowanie MNP zostało wsparte przez National Center for Responsible Gaming poprzez grant Centre of Excellence. Agencje finansujące nie wniosły wkładu w treść manuskryptu, a opinie opisane w manuskrypcie odzwierciedlają opinie autorów i niekoniecznie agencji finansujących.

Konflikt interesów

Autorzy nie zgłaszają konfliktu interesów w odniesieniu do treści tego manuskryptu.

Niewymienione odniesienia

Bőthe i in., 2018, Bőthe i in., 2019, Bőthe i in., 2019, Bőthe i in., W druku, Bőthe i in., 2020, Bőthe i in., 2019, Bőthe i in., 2020, Bőthe i in., 2018, Brand i wsp., 2019, Brand i wsp., 2019.