Måleegenskaper ved den norske versjonen av Symptom Checklist-90-Revidert (SCL-90-R)

SCL-90-R - Symptom Checklist-90-Revidert

Forfatter
Ingunn P. Mundal, Kristin Ytreland og Jannike Kaasbøll
DOI
10.21337/0079
Rettigheter:
ISSN
1893-9910
År
2022
Årgang
12
Utgave
1
Nummer
5
Symptom Checklist-90 Revised (SCL-90-R) er et bredspektret screeningverktøy for psykiske plager hos personer over 13 år. SCL-90 ble utviklet av Derogatis og kolleger i 1973 og revidert i 1976 til SCL-90-R. Instrumentet ble oversatt til norsk på 1980-tallet, og i 2010 utga Pearson Inc. en norsk autorisert utgave med instrukser for skåring og administrering. Autoriserte psykologer og leger kan administrere, skåre og tolke testen. Testen er et selvutfyllingsskjema og består av 90 spørsmål som kartlegger symptombelastning innenfor ni forskjellige symptomskalaer. I denne kunnskapsoppsummeringen ønsket vi å undersøke hvilke måleegenskaper som er rapportert for SCL-90-R i skandinaviske studier med ungdom og unge voksne i alderen 13–26 år. Av 1359 referanser inkluderte vi 13 studier i oppsummeringen. Ti studier var basert på kliniske utvalg (f.eks. pasienter med atferdsforstyrrelser, depresjon og spiseforstyrrelser). Ikke-kliniske utvalg inkluderte bl.a. studenter, adopterte barn og barn av skilte foreldre. Ingen av de inkluderte studiene var valideringsstudier. De fleste målte effekt av behandling eller andre tiltak. Det er rapportert gjennomsnitt, standardavvik og indre konsistens. Ingen av de inkluderte studiene inneholdt utfyllende informasjon om for SCL-90-Rs måleegenskaper for ungdom og unge voksne i alderen 13–26 år. Kunnskapsgrunnlaget for SCL-90-R er ikke tilstrekkelig for å kunne si noe om bruken av instrumentet hos denne gruppen.

Innledning

Testverktøyet Symptom Checklist-90-Revised (SCL-90-R) er et vanlig brukt bredspektret symptommål i begynnelsen av en kartlegging av psykiske lidelser eller som mål på effekten av behandling. SCL-90-R brukes ved selvrapportering og måler symptombelastning i løpet av de siste syv dagene på 90 generelle psykiske symptomer innenfor ni forskjellige symptomskalaer, samt tre globale indekser (Derogatis, 2010). Den første utgaven av SCL-90 er utviklet fra The Hopkins Symptoms Checklist (HSCL) med 58 spørsmål og ble publisert for første gang i 1973 (Derogatis et al., 1973). Den reviderte utgaven SCL-90-R kom i 1976 og inneholder mindre endringer (Derogatis, 1983). Allerede på 1980-tallet ble SCL-90-R tatt i bruk i norsk forskning, mens en norsk autorisert utgave av instrumentet (SCL-90-R) kom først i 2010 (Derogatis, 2010). SCL-90-R kan administreres som papirversjon med manuell avkryssing eller online (Derogatis, 2010). Personen graderer de 90 testleddene i hvor stor grad personen har opplevd de forskjellige symptomene i løpet av den siste uken på en fem-punkts skala fra 0 = ikke i det hele tatt, til 4 = veldig mye. Spørreskjemaet inneholder ni symptomskalaer som representerer ni primære dimensjoner av symptomer. I tillegg inneholder spørreskjemaet syv tilleggsledd som ikke er spesifikt knyttet til kun én symptomskala, og tre globale indekser som er sammenfatninger av alle testleddene og gir et bilde av symptomenes omfang og intensitet. Global Severity Index (GSI) er regnet for å være den beste enkeltindikatoren for det generelle omfanget av psykiske symptomer hos personen (Derogatis, 2010). Se tabell 1 for en oversikt og beskrivelse av de ulike symptomskalaene og globale indekser. Kunnskapssenteret i Folkehelseinstituttet publiserte i 2016 en oppsummert vurdering av måleegenskapene (reliabilitet og validitet, samt omtale av normdata) ved den norske versjonen av SCL-90-R for voksne fra 18 år og eldre (Siqveland et al., 2016). Basert på en gjennomgang av 28 studier, fire befolkningsstudier og 24 kliniske studier (publisert mellom 1992 og 2013) konkluderte de med at den norske utgaven av SCL-90-R er tilfredsstillende tilrettelagt for norske forhold.

I Norge har Vassend, Lian og Andersen (1992) og senere Vassend og Skrondal (Vassend et al., 1999) samlet inn og validert norske normdata. Det utvidede norske normutvalget inkluderer unge og voksne personer fra 15 år og eldre (Derogatis, 2010; Vassend et al., 1992; Vassend et al., 1999), men kan ifølge SCL-90-R skåringsmanual administreres til ungdommer over 13 år forutsatt at administrator er til stede og tilgjengelig for oppklaring av formuleringer (Derogatis, 2010). I Skandinavia er SCL-90-R validert blant svenske ungdommer/studenter fra 16 år og eldre (Preti et al., 2019; Todd et al., 1997), og det er utarbeidet en svensk norm for spørreskjemaet (Fridell et al., 2002). SCL-90-R er brukt på tvers av pasientpopulasjoner for å kartlegge omfanget av psykiske symptomer og som mål på behandlingseffekt (Derogatis, 2010). Testen kan brukes som en del av en diagnostisk vurdering, eller den kan gi retning for videre utredning. Personer med psykisk utviklingshemming skal ikke testes med SCL-90-R. Kompetansekrav for bruk av SCL 90-R er lege eller autorisert psykolog, og testen krever kjøp av lisens hos Pearson Inc., som er norsk og internasjonal rettighetshaver. 
 

Tabell 1. Oversikt over symptomdelskalaer og globale indekser for SCL-90-R

Symptomskalaer

Beskrivelse/spørsmål om

Antall spørsmål

Somatisering

Opplevelse av kroppslig ubehag og/eller dysfunksjon

12

Tvangssymptomer

Opplevelse av å være tvunget, konsentrasjonsvansker og kognitiv funksjon

10

Interpersonlig sensitivitet

Opplevelse av seg selv i sammenheng med andre mennesker

9

Depresjon

Nedstemthet

13

Angst

Ubehag/panikk

10

Fiendtlighet

Aggresjon mot andre

6

Fobisk Angst

Unnvikelse

7

Paranoid Tankegang

Mistenksomhet og følelse av å være forfulgt eller truet

6

Psykotisisme

Usammenhengende eller forvirret tenkning

10

Tilleggsledd

Er relatert til og komplementerer flere av symptomskalaene. F.eks. «dårlig matlyst» eller «skyldfølelse»

7

Globale skalaer

Beskrivelse

Antall spørsmål

Global Severity Index (GSI)

Den mest brukte indeksen som beskriver graden og intensiteten av symptomer. Sum symptomskalaer og tilleggsskalaer divideres med totalt antall svar. Er brukt til å identifisere personer som bør utredes videre.

90

Positive symptom Total (PST)

Beskriver antallet symptomer. Summen av antall positive svar på symptommålene.

90

Positive Symptom Distress Index (PSDI)

Beskriver intensiteten av symptomer. Total sumverdi for samtlige testledd divideres med den allerede beregnede PST skåren.

90

 

Det utvidede norske normutvalget anbefaler kjønnsspesifikke normaliserte grenseverdier (T-skårer) (Derogatis, 2010; Vassend et al., 1992; Vassend et al., 1999). Dette innebærer en normalisert skår for kvinner og menn for både symptomskalaene og de globale indeksene, hvor råskårer standardiseres slik at gjennomsnittet er 50 og standardavviket er 10. For eksempel indikerer en T- skår over 60 et høyt nivå av symptomer hos en person og mer symptomer enn 84 % av normalbefolkningen. Det er anbefalt at de med T-skår ≥ 63 – enten på den generelle symptomskalaen eller på minst to av de ni symptomskalaene, bør utredes videre (Derogatis, 2010). Skårene vil variere mellom kjønn og i ulike pasientpopulasjoner (Pedersen et al., 2004; Todd et al., 1997). I denne kunnskaps-oppsummeringen ønsker vi å undersøke hvilke måleegenskaper som er rapportert for SCL-90-R i skandinaviske studier som inkluderer ungdom/unge voksne i alderen 13–26 år. 


Metode

Bibliotekar Brynhildur Axelsdottir ved Regionsenter for barn og unges psykiske helse, helseregion Øst og Sør, gjennomførte et systematisk litteratursøk knyttet til testens psykometriske egenskaper i databasene, PsycINFO, Medline, Embase, Cochrane Library, Oria (BIBSYS), Norart, SveMed+, PubMed, CRIStin.no, NORA.no, Forskningsdatabasen.dk og Swepub. Søkedato: 08.09.2021. Søkestrategien er tilgjengelig på https://psyktestbarn.r-bup.no/no/artikler/scl-90-r-symptom-checklist-90-revidert   
Vi inkluderte alle publikasjoner av studier som har undersøkt og rapportert minst ett av følgende i skandinaviske utvalg:

  • Gjennomsnitt og standardavvik (SD) for minst én global indeks av SCL-90
  • reliabilitet: indre konsistens, test-retest, interrater-reliabilitet og endringssensitivitet
  • validitet: samsvar med liknende testskårer, samsvar med referansestandard eller annet kriterium, og/eller faktorstruktur

Etter å ha fjernet dubletter, gikk alle tre forfattere uavhengig av hverandre gjennom alle identifiserte publikasjoners sammendrag. Alle publikasjoner som virket relevante ble bestilt inn i fulltekst, og vurderingsprosessen ble gjentatt for disse. Fordi det tidlig i arbeidet ble klart at det fantes få skandinaviske studier som brukte SCL-90-R i utvalg med ungdommer, og at flere studier inkluderte både ungdom og unge voksne, inkluderte vi studier med ungdom/unge voksne i aldersgruppen 13–26 år. Noen av studiene inkluderer deltakere over 30 år, og disse ble likevel inkludert da gjennomsnittsalderen til deltakerne var innenfor inklusjonskriteriene.

Alle tre forfattere vurderte normering, validitet og reliabilitet ved hjelp av en tilpasset versjon av Test review form and notes for reviewers (EFPA, 2013). 

 

Resultater

Litteratursøk

I søket etter norske, danske og svenske publikasjoner i de ulike databasene, fant vi totalt 1359 referanser. Etter fjerning av duplikater og ved gjennomgang av tittel og sammendrag, ekskluderte vi 1305 artikler. 54 artikler ble vurdert i fulltekst. Av disse ble ytterligere 35 artikler ekskludert på grunn av: feil publikasjonstype som f.eks. konferanseartikler (n = 5), land utenfor Skandinavia (n = 1), ikke inkluderte SCL-90-R (n = 6), feil populasjon, dvs. foreldrerapport/feil alder (n = 13), duplikat datasett (n = 3), inneholdt kun en symptomskala av SCL-90-R (n = 2), manglende fulltekst (n = 4) manglende gjennomsnittsverdier (n = 1). I alt 13 studier oppfylte inklusjonskriteriene, hvorav 4 norske, 2 danske og 7 svenske. Se tabell 2 for inkluderte studier. 

Tabell 2. Inkluderte studier

Referanse,

Land

Design

Populasjon

N

Mål

Rapporterte egenskaper, verdier av SCL-90(-R)

Falkenstrøm, (2010)

Sverige

Longitudinelt kvasieksperiment,3 måletidspunkt

Arkivdata psykiske lidelser (n = 416), gj.snittsalder 19,1 år.
75 % kvinner.

Pasienter egnet for psykoterapi (n = 101) gj.snittsalder 19,1 år

82 % kvinner

517 

(GSI n = 74)

SCL-90*

DSM-IV akse I og II

GAF

IIP

 

Middelverdier, standardavvik, effektstørrelse, konfidensintervall,

Estimated Marginal Means, RCI

Hagen et. al. (2019)

Norge

Kohortstudie, tverrsnitt

Pasienter i ruslidelse,

16–30 år, gj.snittsalder 23,4 (SD = 3,4)

38 % kvinner

104

SCL-90-R

MoCA

BRIEF-A

Middelverdier, standardavvik,

korrelasjon (Spearman rank order correlations)

H. Hansson et al. (2007)
Sverige

Longitudinelt RCT,

3 måletidspunkt

Studenter med foreldre med alkoholproblem, gj.snittsalder

25,6 år (SD 4,9)
68 % kvinner

82

SCL-90*

AUDIT

 eBAC

SIP

Parents’ Abuse Questionnaire

ISSI

Middelverdier, standardavvik,

effektstørrelse Cohens d

 

Kessler et al. (2020)

Norge

Tverrsnitt

Pasienter med Anoreksi

gj.snittsalder 22,3 (SD 6,4)

100 % kvinner

 

19

SCL-90-R

IBS-SSS

EDE-Q

CIA

BDI-II

BAI

Middelverdier, standardavvik, korrelasjon (Pearsons r), effektstørrelse (Cohens d)

 

Lindgren et al. (2010)
Sverige

Longitudinelt t 3 måletidspunkt

 

Pasienter ruslidelse, 18–25 år,

gj.snittsalder 22,0
(SD 2,2),

73 % kvinner

131

SCL-90-R (GSI)

SRH

GAF

IIP

SASB

DRS

HAq-II

Middelverdier, standardavvik, effektstørrelse

Edlund et al. (2016)
Sverige

Longitudinelt, kvasieksperiment, 2 måletidspunkt

 

Pasienter i psykoterapi-behandling, 14–-24 år, gj.snittsalder 19,2
(SD 2,5),

76 % kvinner

218

SCL-90-R

DSM-IV

CGAS

GAF

Middelverdier, standardavvik, effektstørrelse (Cohens d), RCI, normtall

 

Ness et al. (2018)
Norge

RCT

Pasienter med depresjon, 16–18 år,

gj.snittsalder 17,3
(SD 0,7),

82 % kvinner

 

66

 

SCL-90-R (GSI)

DSM-IV

M.I.N.I

SIDP-IV

GAF

IIP-CBDI-II

PFS

Middelverdier, standardavvik,

korrelasjon (Pearsons r), RCI

Østergård et al. (2019)
Danmark

Longitudinelt kvasieksperiment

2 måletidspunkt

 

Studenter i kontakt med studentveileder,

gj.snittsalder  25,1
(SD 4,4),

78 % kvinner

1256 (GSI ved to måletidspunkt n=530)

 

SCL-90-R (GSI)

OPD-SQS

SQ

Middelverdier, standardavvik,

effektstørrelse (Cohens d), RCI

 

Østergård et al. (2020)
Danmark

Longitudinelt kvasiekseperiment, 2 måletidspunkt

Studenter i kontakt med studentveileder, gj.snittsalder 25,2
(SD 4,6),

74 % kvinner

1374

 

SCL-90-R (GSI)

ORS

(G)SRS

SQ

Middelverdier, standardavvik,)

effektstørrelse (Cohen´s d), RCI

Philips et al. (2006)
Sverige

Longitudinelt kvasieksperiment 4 måletidspunkt, 2 med GSI

Pasienter ulike psykiske vansker, 18–25 år, gj.snittsalder 22,0
(SD 2,2)
73 % kvinner

134

SCL-90-R (GSI)

DIP-Q

SRH

GAF

IIP

SASB

DRS

Middelverdier, standardavvik,

effektstørrelse, korrelasjon

Skarbø et al. (2004)
Norge

Tverrsnitt,

Intervju

Tidl. Pasienter psykiske lidelser, 17–28 år,

gj.snittsalder 22,9 (SD 3,2) 81 % kvinner

 

 

100

SCL-90 (PSDI)

KLEHS

SCID-I and II

GAF

GHQ-30

BDI

BHS

Brief UCLA Loneliness Scale

SES

SCLS

DES

AUDIT

Middelverdier, standardavvik,

effektstørrelse,

bivariat korrelasjon (spearmans rho)

Werbart et al. (2017)
Sverige

Longitudinelt kvasieksperiment,

4 måletidspunkt

 

Pasienter med ulike psykiske lidelser, 18–25 år i psykoanalytisk psykoterapi, gj.snittsalder 22,3 (SD 2,1)
82 % kvinner

134

(GSI n = 33)

SCL-90-R (GSI)

ORI

D-R

PMAI

Middelverdier, standardavvik effektstørrelse (Cohen´s d, Hedges´g)

Werbart et al. (2012)

Sverige

Longitudinell, kvasieksperiment, 3 måletidspunkt

Pasienter 20–38 år med alvorlige personlighetsforstyrrelser

DSM-IV akse 2 og 1, gj.snittsalder

24,3 (SD 3,6)
80 % kvinner

47

(GSI n = 14)

SCL-90-R (GSI)

GAF

SCOS

Patients’ recovery scale (ISOS)

DSM-IV

Middelverdier, standardavvik,

effektstørrelser

 

Forkortelser: AUDIT: Alcohol Use Disorders Identification Test, BDI: Beck Depression Inventory, BHS: Beck Hopelessness Scale, BRIEF-A: Behavior Rating Inventor of Executive Function-Adult, DES: Dissociative Experiences Scale, DIP-Q: DSM-IV og ICD-10 personlighetsspørreskjema, DPC: Deliberate Practice Checklist, D-R: Differential Relatedness scale, DRS: Differentiation-Relatedness of Self and Object Representations, EDI-2: Eating Disorders Inventory, GAF: Global Assessment of Functioning, GHQ-30: The general Health Questionnaire – 30 items IIP: Inventory of Interpersonal Problems, (G) SRS: Group Session Rating Scale, IIP: Inventory of Interpersonal Problems, ISOS: Integration/Sealing-over Scale, KLEHS: Life Events and History Scale, LITE: Life Incidence of Traumatic Events, MoCA: Montreal cognitive Assessment, ORI: Object Relations Outcome, ORS: Outcome Rating Scale, PAC-T & C: PCOMS Adherence Checklist Therapist and Client version, PMAI: Prototype Matching of Anaclitic-Introjective Personality Configuration, PSS: Perceived Stress Scale, PSQI: Pittsburgh Sleep Quality Index, , SASB: Structural Analysis of Social Behaviour Intrex Questionnaire, SCID-I: Structural Clinical Interview for DSM-IV Axis I Disorders, SCID-II: Structural Clinical Interview for DSM-IV Axis II Disorders, SCLS: Self-Liking and Competence Scale, SCL-90(-R): Symptom Checklist (Revised), GSI: Global Symptom Index, SCOS: Strauss-Carpenter Outcome Scale, SES: Self-Esteem Scale, SQ: Study Questionnaire, SRH: Self-Rated Health, TAP: Therapist Attitude to the PCOMS

 

PRISMA SCL-90-R

 

Middelverdier og/eller forekomster i kliniske undergrupper

Alle 13 inkluderte artikler, rapporterte 13 gjennomsnitt og standardavvik for den globale skalaen GSI, kun Falkenstrøm et al. (2010) rapporterte konfidensintervall for GSI. Tre studier rapporterte gjennomsnitt og standardavvik for PST og PSDI skalaene, og tre studier rapporterte gjennomsnitt og standardavvik for symptomskalaene.

Utvalgsstørrelsene varierte fra 19 til 1374 deltakere i alderen 14–30 år. Ti av 13 studier var gjennomført i kliniske utvalg, som ungdommer og unge voksne med ulike psykiske lidelser, bl.a. depresjon, personlighetsforstyrrelser og spiseforstyrrelser og ungdommer/unge voksne med psykiske helseproblemer. Seks studier besto av ikke-klinisk populasjon, for eksempel adopterte ungdommer, studenter og barn av skilte foreldre. Tabell 3a viser en oversikt over gjennomsnittsskårer for ulike undergrupper for globale indekser, mens tabell 3b viser gjennomsnittsskårer for undergrupper for alle delskalaer.

 

Tabell 3a. Middelverdier (M) og standardavvik (SD) på globale indekser for ulike undergrupper

Referanse

Utvalg/gruppe

N/n

GSI

PSDI

PST

 

 

 

M/

Totalskår

SD

Gj.snitt

SD

Gj.snitt

SD

Falkenstrom (2010)

 

Psykisk lidelse M = 19.1 år, T1

74

1,40

 

 

 

 

 

T2

74

0,70

 

 

 

 

 

T3

74

0,72

 

 

 

 

 

Hagen et al. (2019)

 

Menn med ruslidelse 16–30 år

64

1,10

0,60

1,80

0,50

52,40

21,20

Kvinner med ruslidelse 16–30 år

40

1,30

0,70

2,00

0,50

55,90

17,70

H. Hansson et al. (2007)

 

Studenter med foreldre m/alkoholproblem M = 25,6 år

Alkoholintervensjon T1

 

82

 

0,81

 

0,49

 

 

 

 

T2

78

0,70

0,41

 

 

 

 

T3

77

0,66

0,51

 

 

 

 

Mestringsintervensjon T1T1

 82

1,03

0,65

 

 

 

 

T2

78

0,97

0,63

 

 

 

 

T3

77

0,64

0,58

 

 

 

 

Kombinasjon av begge intervensjoner T1

 82

0,66

0,51

 

 

 

 

T2

78

0,86

0,63

 

 

 

 

T3

77

0.63

0,49

 

 

 

 

Kessler et al. (2020)

Kvinner med anorexia nervosa, 16–38 år, T1

19

1,60

 0,80

 

 

 

 

Lindgren et al. (2010)

Pas med psykiske plager 18–25 år

Individuell psykoterapi T1

 

92

 

1,40

 

0,60

 

 

 

 

T2

86

0,70

0,70

 

 

 

 

T3

86

0,80

0,70

 

 

 

 

Psykoterapi i gruppe T1

42

1,10

0,60

 

 

 

 

T2

N/A

0,70

0,60

 

 

 

 

T3

N/A

0,60

0,50

 

 

 

 

Edlund et al. (2016)

Pasienter i BUP-klinikk 14–24 år, total T1

169

1,29

0,63

 

 

 

 

T2

169

0,81

0,55

 

 

 

 

Med angst

53

1,26

 

 

 

 

 

T2

53

0,77

 

 

 

 

 

Med stemningslidelser

51

1,41

 

 

 

 

 

T2

51

0,90

 

 

 

 

 

Andre diagnoser

51

1,15

 

 

 

 

 

T2

51

0,73

 

 

 

 

 

Ness et al. (2018)

Ungdom med depresjon, 16–18 år T1

30

1,30

0,50

 

 

 

 

T2

30

0,81

0,50

 

 

 

 

Østergård et al. (2019)

Psyk. Studentrådgivning M = 25,1 år, T1

530

1,32

0,55

 

 

 

 

T2

530

0,91

0,60

 

 

 

 

Østergård et al. (2020)

TAU lettere psykiske vansker, M = 25,24 år,

total T1

 

740

 

1,33

 

0,57

 

 

 

 

TAU individuell rådgivning T1

679

1,33

0,58

 

 

 

 

T2

480

0,89

0,59

 

 

 

 

TAU grupperådgivning T1

61

1,3

051

 

 

 

 

T2

51

1,13

0,61

 

 

 

 

PCOMS lettere psykiske vansker total T1

634

1,34

0,56

 

 

 

 

PCOMS individuell rådgivning T1

585

1,35

0,57

 

 

 

 

T2

492

0,90

0,62

 

 

 

 

PCOMS grupperådgivning T1

49

1,31

0,48

 

 

 

 

T2

40

1,00

0,52

 

 

 

 

TAU+PCOMS, lettere psykiske vansker, T1

1374

1,33

0,57

 

 

 

 

Philips et al. (2006)

 

Kvinner, ulike psykiske vansker, 18–25 år

124-128

1,40

0,60

 

 

 

 

Menn, ulike psykiske vansker 18–25 år

124-128

1,20

0,60

 

 

 

 

Begge kjønn gjennomført terapi T1

124-128

1,20

0,60

 

 

 

 

T2

124-128

0,80

0,60

 

 

 

 

Begge kjønn, individuell terapi

124-128

1,40

0,60

 

 

 

 

Begge kjønn, gruppeterapi

124-128

1,10

0,50

 

 

 

 

Skarbø et al. (2004)

Tidligere pasienter ved BUP-poliklinikk /ulike lidelser, 17–28 år

 

100

 

0,69

 

0,63

 

 

 

 

Werbart et al. (2017)

 

Depresjon anaklitisk personlighetstype, 18–25 år T1

 

13

 

1,60

 

0,71

 

 

 

 

T2

12

0,89

0,57

 

 

 

 

T3

12

0,84

0,63

 

 

 

 

T4

11

0,98

0,55

 

 

 

 

Depresjon introjektiv personlighetstype, 18–25 år T1

 

20

 

1,30

 

0,58

 

 

 

 

T2

18

0,82

0,87

 

 

 

 

T3

18

0,78

0,69

 

 

 

 

T4

15

0,71

0,64

 

 

 

 

Werbart et al. (2012)

Personlighetsforstyrrelse, M = 24,3 år, T1

14

2,00

0,44

 

 

 

 

T2

14

1,36

0,60

 

 

 

 

T3

14

1,12

0,54

 

 

 

 

Forkortelser: GSI: Global Symptom Index, PSDI: Positive Symptom Distress Index, PST: Positive Symptom Total. T1: Før behandling T2: Etter behandling T3: 1 års follow-up T4: 3 års follow-up (Werbart): TAU: Treatment as Usual, PCOMS: Partners for Change Outcome Management System.
 

 

Tabell 3b. Middelverdi (M) og standardavvik for symptomskala for undergrupper

 

Falkenstrøm, 2010

Hagen et. al. 2019

Østergård et. al. 2019

Delskala

I psyko-terapi

T1 (74)

T2 (74)

T3 (74)

Menn med

ruslidelse (64)

Kvinner med

ruslidelse (40)

Psyk. Rådgivn.

T1(530)

T2(530)

Somatisering

1,1 (0,7)

0,6 (0,5)

0,5 (0,5)

0,9 (0,7)

1,1 (0,8)

1,09 (0,75)

0,72 (0,64)

Tvangssymptomer

1,6 (0,8)

0,8 (06)

0,9 (0,8)

1,4 (0,7)

1,7 (0,7)

1,97 (0,77)

1,41 (0,84)

Interpersonlig sensitivitet

1,4 (0,9)

0,8 (0,7)

0,8 (0,7)

1,2 (0,8)

1,4 (0,9)

1,38 (0,81)

1,02 (0,8)

Depresjon

2,0 (0,9)

1,0 (0,7)

1,0 (0,8)

1,2 (0,8)

1,5 (0,8)

2,12 (0,8)

1,39 (0,9)

Angst

1,6 (0,8)

0,8 (0,6)

0,7 (0,6)

1,2 (0,8)

1,5 (0,8)

1,45 (0,76)

0,97 (0,74)

Fiendtlighet

0,8 (0,8)

0,5 (0,5)

0,3 (0,4)

0,9 (0,8)

0,8 (0,9)

0,83 (0,66)

0,58 (0,61)

Fobisk Angst

0,8 (0,8)

0,4 (0,6)

0,4 (0,5)

0,8 (0,7)

1,2 (1,0)

0,77 (0,67)

0,51 (0,62)

Paranoid Tankegang

1,3 (0,9)

0,6 (0,6)

0,5 (0,5)

1,2 (0,8)

1,3 (1)

0,85 (0,72)

0,66 (0,68)

Psykotisisme

0,9 (0,7)

0,4 (0,4)

0,4 (0,4)

0,7 (0,7)

0,7 (0,6)

0,58 (0,48)

0,38 (0,42)

PSDI

     

1,8 (0,5)

2 (0,5)

   

PST

     

52,4 (21,2)

55,9 (17,7)

   

PSDI: Positive Symptom Distress Index, PST: Positive Symptom Total.
 

Normer

Blant skandinaviske studier finner vi per i dag én rapport som oppgir svenske normdata for ungdommer og unge voksne (Fridell et al., 2002). Dette norm-materialet inkluderte 1016 personer i alderen 18– 63 år (73 % kvinner) og ble senere komplementert med et yngre utvalg; 3002 personer i alderen 17–23 år (83 % kvinner) (Fridell et al., 2002). Normtallene inkluderer 1782 pasienter med ulike psykiatriske diagnoser (54 % kvinner) (Fridell et al., 2002). Ifølge EFPA’s kriterier for normdata, er utvalg med færre enn 300 deltakere utilstrekkelig som grunnlag for viktige beslutninger. Det samme gjelder studier som er eldre enn 20 år. Tilgjengelige normtall for den norske versjonen av SCL-90-R fra 1991 og 2009 inkluderer 1643 personer i alderen 15 år og eldre (52,7 % kvinner). Av disse var 42 personer i alderen 15–17 år. Fordi ingen av de to norske utvalgene skiller seg signifikant fra hverandre, er de slått sammen. Kun en av de inkluderte studiene (Edlund et al., 2016) brukte normdata (Fridell et al., 2002) som sammenligningsgruppe. 

Reliabilitet  

Av 13 studier rapporterte en artikkel indre konsistens i form av Cronbach’s alfa (α). Østergård et al., (2020) rapporterer indre konsistens for GSI (α= .96), for psykotisisme (α = 0,69) og for de øvrige delskalaene (α = 0,75–0,88), noe som stemmer godt med indre konsistens rapportert i den norske manualen (r = 0,79– 0,88).

Validitet

Begrepsvaliditet evalueres gjerne gjennom faktoranalyse eller korrelasjoner med andre tester for å undersøke hvorvidt testen relaterer seg til andre begrep som den antas å være lik eller forskjellig fra (Evers et al., 2013). Ingen av de inkluderte artiklene vurderte begrepsvaliditet gjennom konfirmatorisk faktoranalyse. Flere studier beskriver ytre validitet, dvs. sammenhengen mellom SCL-90-R og utfall den er forventet å samvariere med. Et viktig mål på ytre validitet er konvergent validitet, som måles ved å sammenligne resultater fra SCL-90-R med andre mål på psykiske symptomer og psykiatriske diagnoser. Slik samvariasjon oppgis ofte med Pearsons korrelasjonskoeffisient r, som varierer mellom +1 og -1, der +1 er en sterk positiv og -1 er en sterk negativ samvariasjon. Ifølge EFPA vil en korrelasjon nærmere 0 betegnes som svak eller fraværende samvariasjon og korrelasjoner på for eksempel r < 0, 55 er utilstrekkelig, r (0,55 – 0,65) er adekvat, r (0,65 <0,75) er god og r ≥ 0,75 er fremragende (Evers et al., 2013).

Resultater fra korrelasjonsanalyser mellom SCL-90-R og andre skalaer eller instrumenter ble rapportert i fire studier (Hagen et al., 2019; Kessler et al., 2020; Ness et al., 2018; Skarbø et al., 2004), se Tabell 4. Kessler et al. (2020) fant en signifikant korrelasjon mellom delskalaen somatisering (uten GI) og IBS-SSS (Irritable Bowel Syndrome Symptom Severity (Francis et al., 1997; Kessler et al., 2020) . En korrelasjon mellom disse to kan f.eks. ikke brukes for å vurdere konvergent validitet, fordi spørreundersøkelsene måler to svært ulike grupper av symptomer på henholdsvis psykiske lidelser og magesmerter, og det er heller ikke studiens hensikt å undersøke begrepsvaliditet. Ness et al. (2018) rapporterte korrelasjonsskårer mellom f.eks. GSI (SCL-90-R), GAF-skalaen (Global Assessment of Functioning (Aas, 2011) som måler funksjonsnivå, og PFS (Psychodynamic Functioning Scales (Høglend et al., 2000)) som måler interpersonlig fungering (Ness et al., 2018). Skarbø et al. (2004) undersøkte bivariate korrelasjoner (Spearmans rho) mellom ti ulike utfallsvariabler (se tabell 1) og livshendelser i barne- og ungdomsårene. Oppsummert viste de inkluderte studiene utilstrekkelige korrelasjoner bortsett fra Kesslers studie som viste god korrelasjon (Kessler et al., 2020).

Når det gjelder versjonene av SCL-90-R, oppgir 12 av de inkluderte studiene at de har benyttet SCL-90-R, mens en studie (Falkenstrom, 2010; K. Hansson et al., 2004) oppgir å ha benyttet SCL-90. Forskjellen på SCL-90-R og SCL-90 er at en item-analyse av den opprinnelige versjonen av SCL-90 avdekket mangler ved enkelte testledd, samt tvetydige testinstrukser og svarkategorier. Disse er utbedret i SCL-90-R (Derogatis, 2010). I denne kunnskapsoppsummeringen har vi valgt å også inkludere artikler hvor det har vært uklart hvorvidt forfatterne har brukt SCL-90-R eller SCL-90. Noen forfattere har konsekvent skrevet “SCL-90”, men har referert til publikasjoner med normtall eller valideringsstudier av SCL-90-R. Det er derfor noe usikkerhet knyttet til hvilken versjon av instrumentet disse studiene har benyttet. 
 

 

Tabell 4. Korrelasjonsskårer mellom SCL-90-R og andre mål (ytre validitet) i inkluderte studier

 

Forfatter

Utvalg

N

Skala

r

rs

p

Kessler, 2020

Klinisk

19

IBS-SSS x somatisering uten GI

0,67*

 

0,002

 

IBS-SSS x GSI uten somatisering

0,44

 

0,057

Ness, 2018

Klinisk

66

PFS family x GSI

-0,03

 

p < 0,05

66

PFS friendships x GSI

-0,08

 

Is

66

PFS tollerance for affects x GSI

-0,32

 

p < 0,05

66

PFS insight x GSI

-0,04

 

Is

66

PFS problem solving capacity x GSI

-0,41

 

p < 0,01

66

PFS total x GSI

-0,29

 

p < 0,05

66

GAF x GSI

0,39

 

p < 0,01

Skarbø, 2004

Klinisk

100

Years at school x PSDI

-0,14

 

Is

100

KLEHS childhood x PSDI

0,33

 

p < 0,01

100

KLEHS adolescence x PSDI

0,41

 

p < 0,01

100

KLEHS childh. And adoles. X PSDI

0,41

 

p < 0,01

r = Pearsons korrelasjon, rs = Spearman rank order correlations, *korrelasjonen er signifikant ved 0.01-nivå, is = ikke signifikant

IBS-SSS=The Irritable Bowel Severity Scoring System, PFS=Psychodynamic Functioning Scale, GAF=Global assessment of Functioning, KLEHS=Life Events and History Scale

 

Endringssensitivitet og test-retest reliabilitet

Endringssensitivitet forteller noe om instrumentet er sensitivt for endring over tid. Det er flere måter å undersøke dette på. I kliniske sammenhenger eller i evalueringsforskning er det ofte viktig at de testene vi benytter er sensitive for endring, slik at de kan anvendes som mål på effekten av behandling eller effekten av en intervensjon (Evers et al., 2013). Ingen av de inkluderte studiene undersøkte endringssensitivitet eller test-retest reliabilitet.

Diskusjon

I denne kunnskapsoppsummeringen av skandinaviske studier av SCL-90-R i ungdomspopulasjoner, fant vi fire norske, to danske og syv svenske studier som var relevante for vurdering av måleegenskaper. Av 13 studier rapporterte alle gjennomsnitt og standardavvik, og ti studier benyttet kliniske utvalg. Utvalgsstørrelsen varierte mye, fra 19 til 517 deltakere i kliniske utvalg og fra 82 til 1374 deltakere i ikke-kliniske utvalg. I ni av studiene var utvalgsstørrelsen under 200 deltakere. Ingen av studiene refererte til eller representerte et godt normgrunnlag for SCL-90-R til bruk for ungdommer og unge voksne i alderen 13–26 år. Dette kan ha sammenheng med metodefaglig forankring, studienes hensikt og utvalgenes alderssammensetning. Vi fant for eksempel ingen skandinaviske, nyere studier som inkluderte de yngste ungdommene (fra 13–16 år). De nyeste normtallene for denne gruppen finner vi i en svensk normrapport fra 2002 (Fridell et al., 2002).

En studie rapporterte korrelasjonsskårer med SCL-90-R og andre instrument som ligner tematisk på skalaen i f.eks. GAF-skalaen (Global Assessment of Functioning) som måler funksjonsnivå, og PFS (Psychodynamic Functioning Scales) som måler interpersonlig fungering (Ness et al., 2018), men har ikke delskalaer som måler det samme som SCL-90-R. En korrelasjon mellom disse og SCL-90-R kan derfor være en indikasjon på at det instrumentene måler er innenfor samme konstrukt. Ingen studier diskuterte nytten av grenseverdier for når ungdommen hadde behov for videre undersøkelse eller oppfølging. Dette understreker behovet for nyere norske eller skandinaviske normer, og behovet for å validere kjønnsspesifikke grenseverdier SCL-90-R for å kunne vurdere behovet for videre oppfølging og behandling hos ungdom.

I litteraturen har det vært stilt spørsmål ved de psykometriske egenskapene til symptomskalaene for SCL-90-R og spesielt spørsmål knyttet til begrepsvaliditet (Carrozzino et al., 2016; Vassend et al., 1999). Problemene har vært knyttet til skalerbarhet og vansker med å oppnå en ni-faktorløsning (Carrozzino et al., 2016; Vassend et al., 1999), blant annet på grunn av for liten utvalgsstørrelse, avvik fra normalfordeling og utilstrekkelig håndtering av ordinale skalaer (Fridell et al., 2002; Preti et al., 2019; Urbán et al., 2014). Ingen av de inkluderte studiene har rapportert faktorstruktur eller vurdert begrepsvaliditet eller indre validitet. Test-retestreliabilitet er heller ikke rapportert i de inkluderte studiene. Ifølge den norske manualen er test-retest ikke en relevant psykometrisk egenskap for SCL-90-R fordi testen måler aktuelle og ikke varige psykiske plager, slik at man ikke kan forvente samme resultat ved retest. Et relevant reliabilitetsmål for SCL-90-R er derfor indre konsistens. Kun to studier oppgir mål på indre konsistens ved Cronbach’s alfa. Selv om alfa-verdiene som er oppgitt er tilfredsstillende, er en svakhet med alfa at den ofte har urealistiske forutsetninger som sjelden blir møtt. Det finnes også flere andre koeffisienter for indre konsistens å velge mellom. Omegakoeffisienten (McDonalds omega) er en av dem, og kan brukes på kongeneriske skalaer (skalaer hvor faktorladninger kan variere i styrke opp mot målt konstrukt). Omegakoeffisienten har færre forutsetninger da den tillater variasjon i sanne skårer og feilvarians i motsetning til alfa (Stensen et al., 2022).

Ingen av de inkluderte artiklene har rapportert utfyllende informasjon om måleegenskaper for SCL-90-R. Det er usikkert om normgrunnlaget som finnes er tilstrekkelig for å kunne si noe om bruken av instrumentet for ungdommer og unge voksne i alderen 13 – 26 år. Til dels er normtallene blitt gamle, dels er populasjonen som normdataene er basert på eldre enn den vi ønsket å undersøke, og til sist er populasjonen i normdataene ganske liten. Ingen av artiklene har rapportert spørreskjemaets reliabilitet (indre konsistens, test-retest, eller endringssensitivitet), og det er dessuten stor variasjon i datamaterialet, også når det gjelder størrelsen på utvalgene. Kunnskapsgrunnlaget er derfor ikke tilstrekkelig for å kunne si noe om bruken av instrumentet hos denne gruppen. Evidensbaserte instrumenter med dokumentert gode måleegenskaper er viktig for å kartlegge barn/ungdoms psykiske helsestatus. Instrumentene må valideres i den populasjonen det skal brukes i for å kunne fastslå kvalitet, nøyaktighet og pålitelighet. De svenske normene er nå 20 år og vurderes som for gamle. Selv om det norske materialet har inkludert et nyere utvalg fra 2009, begynner også dette å bli gammelt og inkluderer kun et lite utvalg i alderen 15–17 (n = 42) hvor ingen er under 15 år. Det er derfor behov for nye skandinaviske og norske normer for ungdom, og følgelig bør SCL-90-R brukes med varsomhet i utvalg som inkluderer ungdommer. 

Konklusjon

Kunnskapsgrunnlaget som gjelder for bruk av SCL-90-R i skandinaviske ungdomspopulasjoner og unge voksne i alderen 13–26 år, er per i dag for begrenset til å kunne si noe om bruken av instrumentet hos denne gruppen, og det foreligger ikke tilfredsstillende normdata. En bør derfor utvise forsiktighet både ved tolkningen av resultater og med å basere vurderinger på disse. Det er behov for videre forskning på instrumentets psykometriske egenskaper og utvikling av nye skandinaviske normer for et ungdomsutvalg. 
 

Interessekonflikter

Forfatterne erklærer herved at de ikke har noen interessekonflikter.

 

 

Referanser

 

Carrozzino, D., Vassend, O., Björndal, F., Pignolo, C., Raabaek Olsen, L. & Bech, P. (2016). A clinimetric analysis of the Hopkins Symptom Checklist (SCL-90-R) in general population studies (Denmark, Norway, and Italy). Nordic Journal of Psychiatry, 70(5), 374-379. doi: http://dx.doi.org/10.3109/08039488.2016.1155235

Derogatis, L. R. (1983). Misuse of the symptom checklist 90. Archives of Genereal Psychiatry, 40(10), 1152-1153. doi: https://doi.org/10.1001/archpsyc.1983.01790090114025

Derogatis, L. R. (2010). SCL-90-R®. Symptom Checklist-90-R. Norsk versjon. Manual for administrering og skåring Stockholm: NCS Pearson: Inc.

Derogatis, L. R., Lipman, R. S. & Covi, L. (1973). SCL-90: an outpatient psychiatric rating scale--preliminary report. Psychopharmacology Bulletin, 9(1), 13-28.

Edlund, J. N. & Carlberg, G. (2016). Psychodynamic psychotherapy with adolescents and young adults: Outcome in routine practice. Clinical Child Psychology and Psychiatry, 21(1), 66-80. doi: https://doi.org/10.1177/1359104514554311

Evers, A., Hagemeister, C., Høstmælingen, A., Lindley, P., Muñiz, J. & Sjöberg, A. (2013). EFPA review model for the description and evaluation of psychological and educational tests. Test review form and notes for reviewers. Version 4.2, 6.

Falkenstrom, F. (2010). Does psychotherapy for young adults in routine practice show similar results as therapy in randomized clinical trials? Psychotherapy Research : journal of the Society for Psychotherapy Research, 20(2), 181-192. doi: https://doi.org/10.1080/10503300903170954

Francis, C. Y., Morris, J. & Whorwell, P. J. (1997). The irritable bowel severity scoring system: a simple method of monitoring irritable bowel syndrome and its progress. Alimentary Pharmacology and Therapeutics, 11(2), 395-402. doi: https://doi.org/10.1046/j.1365-2036.1997.142318000.x

Fridell, M., Cesarec, Z., Johansson, M. & Thorsen, S. (2002). Swedish norms, standardization and validation of the Symptom Checklist 90.[Svensk Normering, Standardisering og Validering av Symptomskalan—SCL-90]. Lokalisert på https://www.stat-inst.se/contentassets/8d7c5ef825a04cb8b5befdfbfbf6fa5a/scl90-svensk-normering-standardisering-och-validering-av-symtomskalan.pdf

Hagen, E., Somhovd, M., Hesse, M., Arnevik, E. & Erga, A. (2019). Measuring cognitive impairment in young adults with polysubstance use disorder with MoCA or BRIEF-A - The significance of psychiatric symptoms. Journal of Substance Abuse Treatment, 97, 21-27. doi: https://doi.org/10.1016/j.jsat.2018.11.010

Hansson, H., Rundberg, J., Zetterlind, U., Johnsson, K. O. & Berglund, M. (2007). Two-year outcome of an intervention program for university students who have parents with alcohol problems: A randomized controlled trial. Alcoholism: Clinical and Experimental Research, 31(11), 1927-1933. doi: https://doi.org/10.1111/j.1530-0277.2007.00516.x

Hansson, K., Olsson, M. & Cederblad, M. (2004). A salutogenic investigation and treatment of conduct disorder (CD): Results from a long-term follow-up of youths diagnosed with CD investigated and treated in inpatient psychiatric care. Nordic Journal of Psychiatry, 58(1), 5-16. doi: https://psycnet.apa.org/doi/10.1080/08039480310000734

Høglend, P., Bøgwald, K.-P., Amlo, S., Heyerdahl, O., Sørbye, Ø., Marble, A. et al. (2000). Assessment of change in dynamic psychotherapy. The Journal of Psychotherapy Practice and Research, 9(4), 190.

Kessler, U., Rekkedal, G., Ro, O., Berentsen, B., Steinsvik, E., Lied, G. et al. (2020). Association between gastrointestinal complaints and psychopathology in patients with anorexia nervosa. International Journal of Eating Disorders, 53(5), 532-536. doi: https://doi.org/10.1002/eat.23243

Lindgren, A., Werbart, A. & Philips, B. (2010). Long-term outcome and post-treatment effects of psychoanalytic psychotherapy with young adults. Psychology and Psychotherapy, 83, 27-43. doi: https://doi.org/10.1348/147608309x464422

Ness, E., Dahl, H.-S. J., Tallberg, P., Amlo, S., Hoglend, P., Thoren, A. et al. (2018). Assessment of dynamic change in psychotherapy with asdolescents. Child and Adolescent Psychiatry and Mental Health, 12. doi: https://doi.org/10.1186/s13034-018-0246-z

Pedersen, G. & Karterud, S. (2004). Is SCL-90R helpful for the clinician in assessing DSM-IV symptom disorders? Acta Psychiatrica Scandinavica, 110(3), 215-224. doi: https://doi.org/10.1111/j.1600-0447.2004.00321.x

Philips, B., Wennberg, P., Werbart, A. & Schubert, J. (2006). Young adults in psychoanalytic psychotherapy: Patient characteristics and therapy outcome. Psychology and Psychotherapy: Theory, Research and Practice, 79(1), 89-106. doi: https://doi.org/10.1348/147608305x52649

Preti, A., Carta, M. G. & Petretto, D. R. (2019). Factor structure models of the SCL-90-R: Replicability across community samples of adolescents. Psychiatry Research, 272, 491-498. doi: https://doi.org/10.1016/j.psychres.2018.12.146

Siqveland, J., Moum, T. Å. & Leiknes, K. A. (2016). Måleegenskaper ved den norske versjonen av Symptom Checklist 90 Revidert (SCL-90-R). Lokalisert på https://www.fhi.no/publ/2016/maleegenskaper-ved-den-norske-versjonen-av-symptom-checklist-90-revidert-sc/

Skarbø, T., Rosenvinge, J. & Holte, A. (2004). Adolescent Life Events and Adult Mental Health 5-9 Years after Referral for Acute Psychiatric Outpatient Treatment. Clinical Psychology and Psychotherapy, 11(6), 401-413. doi: https://psycnet.apa.org/doi/10.1002/cpp.425

Stensen, K. & Lydersen, S. (2022). Indre konsistens: fra alfa til omega? Tidsskrift for Den norske legeforening, 12. doi: https://doi.org/10.4045/tidsskr.22.0112

Todd, D. M., Deane, F. P. & McKenna, P. A. (1997). Appropriateness of SCL-90-R adolescent and adult norms for outpatient and nonpatient college students. Journal of Counseling Psychology, 44(3), 294. doi: https://psycnet.apa.org/doi/10.1037/0022-0167.44.3.294

Urbán, R., Kun, B., Farkas, J., Paksi, B., Kökönyei, G., Unoka, Z. et al. (2014). Bifactor structural model of symptom checklists: SCL-90-R and Brief Symptom Inventory (BSI) in a non-clinical community sample. Psychiatry Research, 216(1), 146-154. doi: https://doi.org/10.1016/j.psychres.2014.01.027

Vassend, O., Lian, L. & Andersen, H. T. (1992). Norske versjoner av NEO-Personality Inventory, Symptom Checklist 90 Revised og Giessen Subjective Complaints List. Del I. Tidsskrift for Norsk Psykologforening, 29(12), 1150-1160.

Vassend, O. & Skrondal, A. (1999). The problem of structural indeterminacy in multidimensional symptom report instruments. The case of SCL-90-R. Behavior Research and Therapy, 37(7), 685-701. doi: https://doi.org/10.1016/s0005-7967(98)00182-x

Werbart, A., Alden, S. & Diedrichs, A. (2017). Changes in the anaclitic-introjective personality configurations following psychoanalytic psychotherapy with young adults. Research in Psychotherapy: Psychopathology, Process and Outcome, 20(1), 30-42. doi: https://doi.org/10.4081%2Fripppo.2017.239

Werbart, A., Forsstrom, D. & Jeanneau, M. (2012). Long-term outcomes of psychodynamic residential treatment for severely disturbed young adults: A naturalistic study at a Swedish therapeutic community. Nordic Journal of Psychiatry, 66(6), 367-375. doi: https://psycnet.apa.org/doi/10.3109/08039488.2012.654508

Østergård, O. K., Fenger, M. & Hougaard, E. (2019). Symptomatic distress and effectiveness of psychological treatments delivered at a nationwide student counseling service. Counselling Psychology Quarterly, 32(2), 150-168. doi: https://doi.org/10.1080/09515070.2017.1410696

Østergård, O. K., O'Toole, M. S., Svendsen, M. M. & Hougaard, E. (2020). The effect of implementing the partners for change outcome management system in a nationwide student counseling service. Journal of Counseling Psychology, 67(1), 90-103. doi: https://psycnet.apa.org/doi/10.1037/cou0000353

Aas, I. H. M. (2011). Guidelines for rating Global Assessment of Functioning (GAF). Annals of General Psychiatry, 10(1), 2. doi: https://doi.org/10.1186/1744-859X-10-2

 

 

Tema

Generell psykisk helse

Aldersgruppe

Ungdom

Voksne