Måleegenskaper ved den norske versjonen av Symptom Checklist-90-Revidert (SCL-90-R)

Innledning

Testverktøyet Symptom Checklist-90-Revised (SCL-90-R) er et vanlig brukt bredspektret symptommål i begynnelsen av en kartlegging av psykiske lidelser eller som mål på effekten av behandling. SCL-90-R brukes ved selvrapportering og måler symptombelastning i løpet av de siste syv dagene på 90 generelle psykiske symptomer innenfor ni forskjellige symptomskalaer, samt tre globale indekser (Derogatis, 2010). Den første utgaven av SCL-90 er utviklet fra The Hopkins Symptoms Checklist (HSCL) med 58 spørsmål og ble publisert for første gang i 1973 (Derogatis et al., 1973). Den reviderte utgaven SCL-90-R kom i 1976 og inneholder mindre endringer (Derogatis, 1983). Allerede på 1980-tallet ble SCL-90-R tatt i bruk i norsk forskning, mens en norsk autorisert utgave av instrumentet (SCL-90-R) kom først i 2010 (Derogatis, 2010). SCL-90-R kan administreres som papirversjon med manuell avkryssing eller online (Derogatis, 2010). Personen graderer de 90 testleddene i hvor stor grad personen har opplevd de forskjellige symptomene i løpet av den siste uken på en fem-punkts skala fra 0 = ikke i det hele tatt, til 4 = veldig mye. Spørreskjemaet inneholder ni symptomskalaer som representerer ni primære dimensjoner av symptomer. I tillegg inneholder spørreskjemaet syv tilleggsledd som ikke er spesifikt knyttet til kun én symptomskala, og tre globale indekser som er sammenfatninger av alle testleddene og gir et bilde av symptomenes omfang og intensitet. Global Severity Index (GSI) er regnet for å være den beste enkeltindikatoren for det generelle omfanget av psykiske symptomer hos personen (Derogatis, 2010). Se tabell 1 for en oversikt og beskrivelse av de ulike symptomskalaene og globale indekser. Kunnskapssenteret i Folkehelseinstituttet publiserte i 2016 en oppsummert vurdering av måleegenskapene (reliabilitet og validitet, samt omtale av normdata) ved den norske versjonen av SCL-90-R for voksne fra 18 år og eldre (Siqveland et al., 2016). Basert på en gjennomgang av 28 studier, fire befolkningsstudier og 24 kliniske studier (publisert mellom 1992 og 2013) konkluderte de med at den norske utgaven av SCL-90-R er tilfredsstillende tilrettelagt for norske forhold.

I Norge har Vassend, Lian og Andersen (1992) og senere Vassend og Skrondal (Vassend et al., 1999) samlet inn og validert norske normdata. Det utvidede norske normutvalget inkluderer unge og voksne personer fra 15 år og eldre (Derogatis, 2010; Vassend et al., 1992; Vassend et al., 1999), men kan ifølge SCL-90-R skåringsmanual administreres til ungdommer over 13 år forutsatt at administrator er til stede og tilgjengelig for oppklaring av formuleringer (Derogatis, 2010). I Skandinavia er SCL-90-R validert blant svenske ungdommer/studenter fra 16 år og eldre (Preti et al., 2019; Todd et al., 1997), og det er utarbeidet en svensk norm for spørreskjemaet (Fridell et al., 2002). SCL-90-R er brukt på tvers av pasientpopulasjoner for å kartlegge omfanget av psykiske symptomer og som mål på behandlingseffekt (Derogatis, 2010). Testen kan brukes som en del av en diagnostisk vurdering, eller den kan gi retning for videre utredning. Personer med psykisk utviklingshemming skal ikke testes med SCL-90-R. Kompetansekrav for bruk av SCL 90-R er lege eller autorisert psykolog, og testen krever kjøp av lisens hos Pearson Inc., som er norsk og internasjonal rettighetshaver. 
 

Tabell 1. Oversikt over symptomdelskalaer og globale indekser for SCL-90-R

Litteratursøk

I søket etter norske, danske og svenske publikasjoner i de ulike databasene, fant vi totalt 1359 referanser. Etter fjerning av duplikater og ved gjennomgang av tittel og sammendrag, ekskluderte vi 1305 artikler. 54 artikler ble vurdert i fulltekst. Av disse ble ytterligere 35 artikler ekskludert på grunn av: feil publikasjonstype som f.eks. konferanseartikler (n = 5), land utenfor Skandinavia (n = 1), ikke inkluderte SCL-90-R (n = 6), feil populasjon, dvs. foreldrerapport/feil alder (n = 13), duplikat datasett (n = 3), inneholdt kun en symptomskala av SCL-90-R (n = 2), manglende fulltekst (n = 4) manglende gjennomsnittsverdier (n = 1). I alt 13 studier oppfylte inklusjonskriteriene, hvorav 4 norske, 2 danske og 7 svenske. Se tabell 2 for inkluderte studier. 

Tabell 2. Inkluderte studier

Forkortelser: AUDIT: Alcohol Use Disorders Identification Test, BDI: Beck Depression Inventory, BHS: Beck Hopelessness Scale, BRIEF-A: Behavior Rating Inventor of Executive Function-Adult, DES: Dissociative Experiences Scale, DIP-Q: DSM-IV og ICD-10 personlighetsspørreskjema, DPC: Deliberate Practice Checklist, D-R: Differential Relatedness scale, DRS: Differentiation-Relatedness of Self and Object Representations, EDI-2: Eating Disorders Inventory, GAF: Global Assessment of Functioning, GHQ-30: The general Health Questionnaire – 30 items IIP: Inventory of Interpersonal Problems, (G) SRS: Group Session Rating Scale, IIP: Inventory of Interpersonal Problems, ISOS: Integration/Sealing-over Scale, KLEHS: Life Events and History Scale, LITE: Life Incidence of Traumatic Events, MoCA: Montreal cognitive Assessment, ORI: Object Relations Outcome, ORS: Outcome Rating Scale, PAC-T & C: PCOMS Adherence Checklist Therapist and Client version, PMAI: Prototype Matching of Anaclitic-Introjective Personality Configuration, PSS: Perceived Stress Scale, PSQI: Pittsburgh Sleep Quality Index, , SASB: Structural Analysis of Social Behaviour Intrex Questionnaire, SCID-I: Structural Clinical Interview for DSM-IV Axis I Disorders, SCID-II: Structural Clinical Interview for DSM-IV Axis II Disorders, SCLS: Self-Liking and Competence Scale, SCL-90(-R): Symptom Checklist (Revised), GSI: Global Symptom Index, SCOS: Strauss-Carpenter Outcome Scale, SES: Self-Esteem Scale, SQ: Study Questionnaire, SRH: Self-Rated Health, TAP: Therapist Attitude to the PCOMS

Middelverdier og/eller forekomster i kliniske undergrupper

Alle 13 inkluderte artikler, rapporterte 13 gjennomsnitt og standardavvik for den globale skalaen GSI, kun Falkenstrøm et al. (2010) rapporterte konfidensintervall for GSI. Tre studier rapporterte gjennomsnitt og standardavvik for PST og PSDI skalaene, og tre studier rapporterte gjennomsnitt og standardavvik for symptomskalaene.

Utvalgsstørrelsene varierte fra 19 til 1374 deltakere i alderen 14–30 år. Ti av 13 studier var gjennomført i kliniske utvalg, som ungdommer og unge voksne med ulike psykiske lidelser, bl.a. depresjon, personlighetsforstyrrelser og spiseforstyrrelser og ungdommer/unge voksne med psykiske helseproblemer. Seks studier besto av ikke-klinisk populasjon, for eksempel adopterte ungdommer, studenter og barn av skilte foreldre. Tabell 3a viser en oversikt over gjennomsnittsskårer for ulike undergrupper for globale indekser, mens tabell 3b viser gjennomsnittsskårer for undergrupper for alle delskalaer.

Tabell 3a. Middelverdier (M) og standardavvik (SD) på globale indekser for ulike undergrupper

Forkortelser: GSI: Global Symptom Index, PSDI: Positive Symptom Distress Index, PST: Positive Symptom Total. T1: Før behandling T2: Etter behandling T3: 1 års follow-up T4: 3 års follow-up (Werbart): TAU: Treatment as Usual, PCOMS: Partners for Change Outcome Management System.
 

Tabell 3b. Middelverdi (M) og standardavvik for symptomskala for undergrupper

PSDI: Positive Symptom Distress Index, PST: Positive Symptom Total.
 

Normer

Blant skandinaviske studier finner vi per i dag én rapport som oppgir svenske normdata for ungdommer og unge voksne (Fridell et al., 2002). Dette norm-materialet inkluderte 1016 personer i alderen 18– 63 år (73 % kvinner) og ble senere komplementert med et yngre utvalg; 3002 personer i alderen 17–23 år (83 % kvinner) (Fridell et al., 2002). Normtallene inkluderer 1782 pasienter med ulike psykiatriske diagnoser (54 % kvinner) (Fridell et al., 2002). Ifølge EFPA’s kriterier for normdata, er utvalg med færre enn 300 deltakere utilstrekkelig som grunnlag for viktige beslutninger. Det samme gjelder studier som er eldre enn 20 år. Tilgjengelige normtall for den norske versjonen av SCL-90-R fra 1991 og 2009 inkluderer 1643 personer i alderen 15 år og eldre (52,7 % kvinner). Av disse var 42 personer i alderen 15–17 år. Fordi ingen av de to norske utvalgene skiller seg signifikant fra hverandre, er de slått sammen. Kun en av de inkluderte studiene (Edlund et al., 2016) brukte normdata (Fridell et al., 2002) som sammenligningsgruppe. 

Reliabilitet  

Av 13 studier rapporterte en artikkel indre konsistens i form av Cronbach’s alfa (α). Østergård et al., (2020) rapporterer indre konsistens for GSI (α= .96), for psykotisisme (α = 0,69) og for de øvrige delskalaene (α = 0,75–0,88), noe som stemmer godt med indre konsistens rapportert i den norske manualen (r = 0,79– 0,88).

Validitet

Begrepsvaliditet evalueres gjerne gjennom faktoranalyse eller korrelasjoner med andre tester for å undersøke hvorvidt testen relaterer seg til andre begrep som den antas å være lik eller forskjellig fra (Evers et al., 2013). Ingen av de inkluderte artiklene vurderte begrepsvaliditet gjennom konfirmatorisk faktoranalyse. Flere studier beskriver ytre validitet, dvs. sammenhengen mellom SCL-90-R og utfall den er forventet å samvariere med. Et viktig mål på ytre validitet er konvergent validitet, som måles ved å sammenligne resultater fra SCL-90-R med andre mål på psykiske symptomer og psykiatriske diagnoser. Slik samvariasjon oppgis ofte med Pearsons korrelasjonskoeffisient r, som varierer mellom +1 og -1, der +1 er en sterk positiv og -1 er en sterk negativ samvariasjon. Ifølge EFPA vil en korrelasjon nærmere 0 betegnes som svak eller fraværende samvariasjon og korrelasjoner på for eksempel r < 0, 55 er utilstrekkelig, r (0,55 – 0,65) er adekvat, r (0,65 <0,75) er god og r ≥ 0,75 er fremragende (Evers et al., 2013).

Resultater fra korrelasjonsanalyser mellom SCL-90-R og andre skalaer eller instrumenter ble rapportert i fire studier (Hagen et al., 2019; Kessler et al., 2020; Ness et al., 2018; Skarbø et al., 2004), se Tabell 4. Kessler et al. (2020) fant en signifikant korrelasjon mellom delskalaen somatisering (uten GI) og IBS-SSS (Irritable Bowel Syndrome Symptom Severity (Francis et al., 1997; Kessler et al., 2020) . En korrelasjon mellom disse to kan f.eks. ikke brukes for å vurdere konvergent validitet, fordi spørreundersøkelsene måler to svært ulike grupper av symptomer på henholdsvis psykiske lidelser og magesmerter, og det er heller ikke studiens hensikt å undersøke begrepsvaliditet. Ness et al. (2018) rapporterte korrelasjonsskårer mellom f.eks. GSI (SCL-90-R), GAF-skalaen (Global Assessment of Functioning (Aas, 2011) som måler funksjonsnivå, og PFS (Psychodynamic Functioning Scales (Høglend et al., 2000)) som måler interpersonlig fungering (Ness et al., 2018). Skarbø et al. (2004) undersøkte bivariate korrelasjoner (Spearmans rho) mellom ti ulike utfallsvariabler (se tabell 1) og livshendelser i barne- og ungdomsårene. Oppsummert viste de inkluderte studiene utilstrekkelige korrelasjoner bortsett fra Kesslers studie som viste god korrelasjon (Kessler et al., 2020).

Når det gjelder versjonene av SCL-90-R, oppgir 12 av de inkluderte studiene at de har benyttet SCL-90-R, mens en studie (Falkenstrom, 2010; K. Hansson et al., 2004) oppgir å ha benyttet SCL-90. Forskjellen på SCL-90-R og SCL-90 er at en item-analyse av den opprinnelige versjonen av SCL-90 avdekket mangler ved enkelte testledd, samt tvetydige testinstrukser og svarkategorier. Disse er utbedret i SCL-90-R (Derogatis, 2010). I denne kunnskapsoppsummeringen har vi valgt å også inkludere artikler hvor det har vært uklart hvorvidt forfatterne har brukt SCL-90-R eller SCL-90. Noen forfattere har konsekvent skrevet “SCL-90”, men har referert til publikasjoner med normtall eller valideringsstudier av SCL-90-R. Det er derfor noe usikkerhet knyttet til hvilken versjon av instrumentet disse studiene har benyttet. 
 

Tabell 4. Korrelasjonsskårer mellom SCL-90-R og andre mål (ytre validitet) i inkluderte studier

r = Pearsons korrelasjon, rs = Spearman rank order correlations, *korrelasjonen er signifikant ved 0.01-nivå, is = ikke signifikant

IBS-SSS=The Irritable Bowel Severity Scoring System, PFS=Psychodynamic Functioning Scale, GAF=Global assessment of Functioning, KLEHS=Life Events and History Scale

Endringssensitivitet og test-retest reliabilitet

Endringssensitivitet forteller noe om instrumentet er sensitivt for endring over tid. Det er flere måter å undersøke dette på. I kliniske sammenhenger eller i evalueringsforskning er det ofte viktig at de testene vi benytter er sensitive for endring, slik at de kan anvendes som mål på effekten av behandling eller effekten av en intervensjon (Evers et al., 2013). Ingen av de inkluderte studiene undersøkte endringssensitivitet eller test-retest reliabilitet.

Diskusjon

I denne kunnskapsoppsummeringen av skandinaviske studier av SCL-90-R i ungdomspopulasjoner, fant vi fire norske, to danske og syv svenske studier som var relevante for vurdering av måleegenskaper. Av 13 studier rapporterte alle gjennomsnitt og standardavvik, og ti studier benyttet kliniske utvalg. Utvalgsstørrelsen varierte mye, fra 19 til 517 deltakere i kliniske utvalg og fra 82 til 1374 deltakere i ikke-kliniske utvalg. I ni av studiene var utvalgsstørrelsen under 200 deltakere. Ingen av studiene refererte til eller representerte et godt normgrunnlag for SCL-90-R til bruk for ungdommer og unge voksne i alderen 13–26 år. Dette kan ha sammenheng med metodefaglig forankring, studienes hensikt og utvalgenes alderssammensetning. Vi fant for eksempel ingen skandinaviske, nyere studier som inkluderte de yngste ungdommene (fra 13–16 år). De nyeste normtallene for denne gruppen finner vi i en svensk normrapport fra 2002 (Fridell et al., 2002).

En studie rapporterte korrelasjonsskårer med SCL-90-R og andre instrument som ligner tematisk på skalaen i f.eks. GAF-skalaen (Global Assessment of Functioning) som måler funksjonsnivå, og PFS (Psychodynamic Functioning Scales) som måler interpersonlig fungering (Ness et al., 2018), men har ikke delskalaer som måler det samme som SCL-90-R. En korrelasjon mellom disse og SCL-90-R kan derfor være en indikasjon på at det instrumentene måler er innenfor samme konstrukt. Ingen studier diskuterte nytten av grenseverdier for når ungdommen hadde behov for videre undersøkelse eller oppfølging. Dette understreker behovet for nyere norske eller skandinaviske normer, og behovet for å validere kjønnsspesifikke grenseverdier SCL-90-R for å kunne vurdere behovet for videre oppfølging og behandling hos ungdom.

I litteraturen har det vært stilt spørsmål ved de psykometriske egenskapene til symptomskalaene for SCL-90-R og spesielt spørsmål knyttet til begrepsvaliditet (Carrozzino et al., 2016; Vassend et al., 1999). Problemene har vært knyttet til skalerbarhet og vansker med å oppnå en ni-faktorløsning (Carrozzino et al., 2016; Vassend et al., 1999), blant annet på grunn av for liten utvalgsstørrelse, avvik fra normalfordeling og utilstrekkelig håndtering av ordinale skalaer (Fridell et al., 2002; Preti et al., 2019; Urbán et al., 2014). Ingen av de inkluderte studiene har rapportert faktorstruktur eller vurdert begrepsvaliditet eller indre validitet. Test-retestreliabilitet er heller ikke rapportert i de inkluderte studiene. Ifølge den norske manualen er test-retest ikke en relevant psykometrisk egenskap for SCL-90-R fordi testen måler aktuelle og ikke varige psykiske plager, slik at man ikke kan forvente samme resultat ved retest. Et relevant reliabilitetsmål for SCL-90-R er derfor indre konsistens. Kun to studier oppgir mål på indre konsistens ved Cronbach’s alfa. Selv om alfa-verdiene som er oppgitt er tilfredsstillende, er en svakhet med alfa at den ofte har urealistiske forutsetninger som sjelden blir møtt. Det finnes også flere andre koeffisienter for indre konsistens å velge mellom. Omegakoeffisienten (McDonalds omega) er en av dem, og kan brukes på kongeneriske skalaer (skalaer hvor faktorladninger kan variere i styrke opp mot målt konstrukt). Omegakoeffisienten har færre forutsetninger da den tillater variasjon i sanne skårer og feilvarians i motsetning til alfa (Stensen et al., 2022).

Ingen av de inkluderte artiklene har rapportert utfyllende informasjon om måleegenskaper for SCL-90-R. Det er usikkert om normgrunnlaget som finnes er tilstrekkelig for å kunne si noe om bruken av instrumentet for ungdommer og unge voksne i alderen 13 – 26 år. Til dels er normtallene blitt gamle, dels er populasjonen som normdataene er basert på eldre enn den vi ønsket å undersøke, og til sist er populasjonen i normdataene ganske liten. Ingen av artiklene har rapportert spørreskjemaets reliabilitet (indre konsistens, test-retest, eller endringssensitivitet), og det er dessuten stor variasjon i datamaterialet, også når det gjelder størrelsen på utvalgene. Kunnskapsgrunnlaget er derfor ikke tilstrekkelig for å kunne si noe om bruken av instrumentet hos denne gruppen. Evidensbaserte instrumenter med dokumentert gode måleegenskaper er viktig for å kartlegge barn/ungdoms psykiske helsestatus. Instrumentene må valideres i den populasjonen det skal brukes i for å kunne fastslå kvalitet, nøyaktighet og pålitelighet. De svenske normene er nå 20 år og vurderes som for gamle. Selv om det norske materialet har inkludert et nyere utvalg fra 2009, begynner også dette å bli gammelt og inkluderer kun et lite utvalg i alderen 15–17 (n = 42) hvor ingen er under 15 år. Det er derfor behov for nye skandinaviske og norske normer for ungdom, og følgelig bør SCL-90-R brukes med varsomhet i utvalg som inkluderer ungdommer. 

Konklusjon

Kunnskapsgrunnlaget som gjelder for bruk av SCL-90-R i skandinaviske ungdomspopulasjoner og unge voksne i alderen 13–26 år, er per i dag for begrenset til å kunne si noe om bruken av instrumentet hos denne gruppen, og det foreligger ikke tilfredsstillende normdata. En bør derfor utvise forsiktighet både ved tolkningen av resultater og med å basere vurderinger på disse. Det er behov for videre forskning på instrumentets psykometriske egenskaper og utvikling av nye skandinaviske normer for et ungdomsutvalg. 
 

Interessekonflikter

Forfatterne erklærer herved at de ikke har noen interessekonflikter.

Referanser

Carrozzino, D., Vassend, O., Björndal, F., Pignolo, C., Raabaek Olsen, L. & Bech, P. (2016). A clinimetric analysis of the Hopkins Symptom Checklist (SCL-90-R) in general population studies (Denmark, Norway, and Italy). Nordic Journal of Psychiatry, 70(5), 374-379. doi: http://dx.doi.org/10.3109/08039488.2016.1155235

Derogatis, L. R. (1983). Misuse of the symptom checklist 90. Archives of Genereal Psychiatry, 40(10), 1152-1153. doi: https://doi.org/10.1001/archpsyc.1983.01790090114025

Derogatis, L. R. (2010). SCL-90-R®. Symptom Checklist-90-R. Norsk versjon. Manual for administrering og skåring Stockholm: NCS Pearson: Inc.

Derogatis, L. R., Lipman, R. S. & Covi, L. (1973). SCL-90: an outpatient psychiatric rating scale--preliminary report. Psychopharmacology Bulletin, 9(1), 13-28.

Edlund, J. N. & Carlberg, G. (2016). Psychodynamic psychotherapy with adolescents and young adults: Outcome in routine practice. Clinical Child Psychology and Psychiatry, 21(1), 66-80. doi: https://doi.org/10.1177/1359104514554311

Evers, A., Hagemeister, C., Høstmælingen, A., Lindley, P., Muñiz, J. & Sjöberg, A. (2013). EFPA review model for the description and evaluation of psychological and educational tests. Test review form and notes for reviewers. Version 4.2, 6.

Falkenstrom, F. (2010). Does psychotherapy for young adults in routine practice show similar results as therapy in randomized clinical trials? Psychotherapy Research : journal of the Society for Psychotherapy Research, 20(2), 181-192. doi: https://doi.org/10.1080/10503300903170954

Francis, C. Y., Morris, J. & Whorwell, P. J. (1997). The irritable bowel severity scoring system: a simple method of monitoring irritable bowel syndrome and its progress. Alimentary Pharmacology and Therapeutics, 11(2), 395-402. doi: https://doi.org/10.1046/j.1365-2036.1997.142318000.x

Fridell, M., Cesarec, Z., Johansson, M. & Thorsen, S. (2002). Swedish norms, standardization and validation of the Symptom Checklist 90.[Svensk Normering, Standardisering og Validering av Symptomskalan—SCL-90]. Lokalisert på https://www.stat-inst.se/contentassets/8d7c5ef825a04cb8b5befdfbfbf6fa5a/scl90-svensk-normering-standardisering-och-validering-av-symtomskalan.pdf

Hagen, E., Somhovd, M., Hesse, M., Arnevik, E. & Erga, A. (2019). Measuring cognitive impairment in young adults with polysubstance use disorder with MoCA or BRIEF-A - The significance of psychiatric symptoms. Journal of Substance Abuse Treatment, 97, 21-27. doi: https://doi.org/10.1016/j.jsat.2018.11.010

Hansson, H., Rundberg, J., Zetterlind, U., Johnsson, K. O. & Berglund, M. (2007). Two-year outcome of an intervention program for university students who have parents with alcohol problems: A randomized controlled trial. Alcoholism: Clinical and Experimental Research, 31(11), 1927-1933. doi: https://doi.org/10.1111/j.1530-0277.2007.00516.x

Hansson, K., Olsson, M. & Cederblad, M. (2004). A salutogenic investigation and treatment of conduct disorder (CD): Results from a long-term follow-up of youths diagnosed with CD investigated and treated in inpatient psychiatric care. Nordic Journal of Psychiatry, 58(1), 5-16. doi: https://psycnet.apa.org/doi/10.1080/08039480310000734

Høglend, P., Bøgwald, K.-P., Amlo, S., Heyerdahl, O., Sørbye, Ø., Marble, A. et al. (2000). Assessment of change in dynamic psychotherapy. The Journal of Psychotherapy Practice and Research, 9(4), 190.

Kessler, U., Rekkedal, G., Ro, O., Berentsen, B., Steinsvik, E., Lied, G. et al. (2020). Association between gastrointestinal complaints and psychopathology in patients with anorexia nervosa. International Journal of Eating Disorders, 53(5), 532-536. doi: https://doi.org/10.1002/eat.23243

Lindgren, A., Werbart, A. & Philips, B. (2010). Long-term outcome and post-treatment effects of psychoanalytic psychotherapy with young adults. Psychology and Psychotherapy, 83, 27-43. doi: https://doi.org/10.1348/147608309x464422

Ness, E., Dahl, H.-S. J., Tallberg, P., Amlo, S., Hoglend, P., Thoren, A. et al. (2018). Assessment of dynamic change in psychotherapy with asdolescents. Child and Adolescent Psychiatry and Mental Health, 12. doi: https://doi.org/10.1186/s13034-018-0246-z

Pedersen, G. & Karterud, S. (2004). Is SCL-90R helpful for the clinician in assessing DSM-IV symptom disorders? Acta Psychiatrica Scandinavica, 110(3), 215-224. doi: https://doi.org/10.1111/j.1600-0447.2004.00321.x

Philips, B., Wennberg, P., Werbart, A. & Schubert, J. (2006). Young adults in psychoanalytic psychotherapy: Patient characteristics and therapy outcome. Psychology and Psychotherapy: Theory, Research and Practice, 79(1), 89-106. doi: https://doi.org/10.1348/147608305x52649

Preti, A., Carta, M. G. & Petretto, D. R. (2019). Factor structure models of the SCL-90-R: Replicability across community samples of adolescents. Psychiatry Research, 272, 491-498. doi: https://doi.org/10.1016/j.psychres.2018.12.146

Siqveland, J., Moum, T. Å. & Leiknes, K. A. (2016). Måleegenskaper ved den norske versjonen av Symptom Checklist 90 Revidert (SCL-90-R). Lokalisert på https://www.fhi.no/publ/2016/maleegenskaper-ved-den-norske-versjonen-av-symptom-checklist-90-revidert-sc/

Skarbø, T., Rosenvinge, J. & Holte, A. (2004). Adolescent Life Events and Adult Mental Health 5-9 Years after Referral for Acute Psychiatric Outpatient Treatment. Clinical Psychology and Psychotherapy, 11(6), 401-413. doi: https://psycnet.apa.org/doi/10.1002/cpp.425

Stensen, K. & Lydersen, S. (2022). Indre konsistens: fra alfa til omega? Tidsskrift for Den norske legeforening, 12. doi: https://doi.org/10.4045/tidsskr.22.0112

Todd, D. M., Deane, F. P. & McKenna, P. A. (1997). Appropriateness of SCL-90-R adolescent and adult norms for outpatient and nonpatient college students. Journal of Counseling Psychology, 44(3), 294. doi: https://psycnet.apa.org/doi/10.1037/0022-0167.44.3.294

Urbán, R., Kun, B., Farkas, J., Paksi, B., Kökönyei, G., Unoka, Z. et al. (2014). Bifactor structural model of symptom checklists: SCL-90-R and Brief Symptom Inventory (BSI) in a non-clinical community sample. Psychiatry Research, 216(1), 146-154. doi: https://doi.org/10.1016/j.psychres.2014.01.027

Vassend, O., Lian, L. & Andersen, H. T. (1992). Norske versjoner av NEO-Personality Inventory, Symptom Checklist 90 Revised og Giessen Subjective Complaints List. Del I. Tidsskrift for Norsk Psykologforening, 29(12), 1150-1160.

Vassend, O. & Skrondal, A. (1999). The problem of structural indeterminacy in multidimensional symptom report instruments. The case of SCL-90-R. Behavior Research and Therapy, 37(7), 685-701. doi: https://doi.org/10.1016/s0005-7967(98)00182-x

Werbart, A., Alden, S. & Diedrichs, A. (2017). Changes in the anaclitic-introjective personality configurations following psychoanalytic psychotherapy with young adults. Research in Psychotherapy: Psychopathology, Process and Outcome, 20(1), 30-42. doi: https://doi.org/10.4081%2Fripppo.2017.239

Werbart, A., Forsstrom, D. & Jeanneau, M. (2012). Long-term outcomes of psychodynamic residential treatment for severely disturbed young adults: A naturalistic study at a Swedish therapeutic community. Nordic Journal of Psychiatry, 66(6), 367-375. doi: https://psycnet.apa.org/doi/10.3109/08039488.2012.654508

Østergård, O. K., Fenger, M. & Hougaard, E. (2019). Symptomatic distress and effectiveness of psychological treatments delivered at a nationwide student counseling service. Counselling Psychology Quarterly, 32(2), 150-168. doi: https://doi.org/10.1080/09515070.2017.1410696

Østergård, O. K., O'Toole, M. S., Svendsen, M. M. & Hougaard, E. (2020). The effect of implementing the partners for change outcome management system in a nationwide student counseling service. Journal of Counseling Psychology, 67(1), 90-103. doi: https://psycnet.apa.org/doi/10.1037/cou0000353

Aas, I. H. M. (2011). Guidelines for rating Global Assessment of Functioning (GAF). Annals of General Psychiatry, 10(1), 2. doi: https://doi.org/10.1186/1744-859X-10-2