Innledning

Youth Self Report (YSR) er et av spørreskjemaene som inngår i Achenbach´s System of Empirically Based Assessment (ASEBA). YSR måler kompetanse, adaptiv fungering og atferdsmessige vanskeområder for aldersgruppen 11–18 år. YSR fylles ut av barn og ungdom selv. I tillegg består blant annet ASEBA av spørreskjemaene Child Behavior Check List (CBCL) som fylles ut av foreldre eller andre nære omsorgspersoner og Teacher Report Form (TRF) som fylles ut av lærer/annet opplæringspersonal. Rammeverket for ASEBA ble utarbeidet på 1960- og 70-tallet av Achenbach og kolleger. Mens den første manualen for CBCL kom i 1983, etterfulgt av TRF i 1986, ble den første manualen for YSR utgitt først i 1987 (Achenbach & Edelbrock 1987) med oppdateringer i 1991 og 2001 (aseba.org). Et spørreskjema kan fylles ut i løpet av 20 minutter og muliggjør rask innhenting av informasjon fra flere informanter med ulike perspektiv på ungdommens vansker. For at unge skal kunne fylle ut YSR skjemaet selvstendig, trengs lese- og skriveferdigheter på nivå med det som er vanlig for 11-åringer. Skjemaet kan også besvares med lesehjelp.

Torunn S. Nøvik og Sonja Heyerdahl (2002) står for den norske oversettelsen, publisert i 1986/88, 1993 og 2002 (Kornør & Jozefiak, 2012). Det kreves testspesifikk opplæring og mastergrad anbefales, sammen med relevant erfaring fra arbeid med barn, unge og familier. Norske spørreskjemaer med tilhørende engelsk manual og skåringsprogram kan kjøpes på www.aseba.nl. Rettighetene til den norske versjonen av YSR og øvrige ASEBA-skjemaer ligger til Erasmus University Rotterdam (Backer-Gröndahl & Martinussen 2018). Spørreskjemaet finnes på mange språk. ASEBA-skjemaene er hyppig benyttet i kommunale tjenester, så vel som i spesialisthelsetjenesten og i forskning.    

Ungdommene blir spurt om å fylle ut YSR for å beskrive sin egen fungering i de siste seks måneder. Den første delen av YSR omhandler demografisk informasjon, samt informasjon om ungdommens kompetanseområder i form av deltakelse i idrett/organisasjoner/lag, hobbyer, samt øvrige arbeidsoppgaver. Videre fyller ungdommen ut om egen adaptiv fungering herunder søsken- og vennerelasjoner, skoleresultater og et åpent felt med muligheter for å beskrive egne bekymringer, så vel som sterke sider. På grunnlag av denne informasjonen, beregner man skårer for aktiviteter, sosial kompetanse og skolefungering, samt total kompetanseskår. Noen temaer som det rapporteres på i CBCL og TRF-skjemaene er utelatt (spesialundervisning og om de har gått et år om igjen) fordi man antar at ungdommene enten er ukjent med temaet eller ikke er villige til å svare på dette.

Siste del av skjemaet omhandler 112 spørsmål om atferd, samt forekomst og intensitet i de siste 6 månedene. Ungdommen skal skåre passer ikke (0)/ passer til en viss grad eller iblant (1)/ passer bra eller ofte (2). Den mulige skåren varierer dermed fra 0–224. YSR inkluderer 14 sosialt ønskelige utsagn om egen person blant disse 112 spørsmålene. Det beregnes en totalskår for hele spørreskjemaet, samt skårer for internaliserende og eksternaliserende vansker. I tillegg opererer YSR med åtte ulike syndromskalaer. Angst/depresjon, tilbaketrekning/depresjon og somatiske plager samles under problemskalaen internaliserte vansker. Regelbrytende atferd og aggressiv atferd samles under problemskalaen eksternaliserende atferd. I tillegg finnes sosiale vansker, tankeproblemer og oppmerksomhetsvansker som syndromskalaer, men disse grupperes ikke langs den internaliserende eller eksternaliserende dimensjonen.

Det er mulig å kjøpe profiler til skåring for hånd, abonnement til ASEBAs web-baserte skåringsprogrammer og lisens til ASEBAs pc-baserte skåringsprogram (aseba.nl). Det er oppgitt grenseverdier for et antatt normalområde (T-skår 0–50+), et subklinisk område (T-skår 65–70) og er klinisk område (T-skår 70+) for bekymring. Rescorla et al. (2012) har utarbeidet det de kaller normgrupper i form av lav-, medium- og høy-skåringsland for å ivareta variasjoner på tvers av 44 ulike land. Alle utvalgene hadde N>300 og utgjør en del av grunnlaget for ASEBAs informantskjema for barn og unges atferdsvansker. Normgrunnlaget blir utarbeidet løpende og flere land inkluderes periodisk. Norge utgjør et såkalt lav-skåringssland (Achenbach & Rescorla 2007:40), da norske ungdommer skåret mer enn 1 standardavvik under gjennomsnittet for ungdom fra andre land i en studie der ungdom fra 24 ulike land deltok (Rescorla et al. 2007). På tvers av kulturer, skårer jenter høyere enn gutter på internaliserende vansker, mens guttene skårer signifikant høyere på eksternaliserende atferd. Jenter skårer også høyere på skalaene som omhandler positive kvaliteter (jeg står opp for mine rettigheter, jeg liker å hjelpe andre m.m.), og disse øker gjennom ungdomstida. Det empiriske grunnlaget for disse «multisocietal epidemiological findings» (Rescorla et al., 2012) bygger imidlertid på de norske, danske og svenske studier som vi har vurdert i denne artikkelen.

YSRs syndromskalaer gir klinikere muligheter til å danne seg et inntrykk av hva ungdommer strever med på tvers av ulik kulturell bakgrunn. Ivanova og kollegaer (2019) har undersøkt YSRs robusthet på tvers av 19 ulike land og kulturer. De åtte syndromskalaene demonstrerte validitet på tvers av samfunn som er forskjellige med tanke på språk, kultur, politiske- og sosiale systemer, etnisk sammensetning, utdanningssystemer og barneoppdragelse. Rescorla og kollegaer (2013) har også undersøkt i hvilken grad besvarelsene fra foreldre (CBCL) korresponderte med besvarelsene til ungdommene (YSR) i 25 ulike land. På tvers av 25 ulike land rapporterte ungdommene flere vansker enn foreldrene gav uttrykk for, da gjennomsnittsskårer på YSR var signifikant høyere enn CBCL-skårene på de fleste problemskårene.

Metode

Bibliotekar Mari Elvsåshagen ved Regionsenter for barn og unges psykiske helse, helseregion Øst og Sør, søkte etter dokumentasjon på testens psykometriske egenskaper i databasene, PsycINFO, Medline, Embase, Cochrane Library, Oria (BIBSYS), Norart, SveMed+, CRIStin.no, NORA.no, Forskningsdatabasen.dk og Swepub. Søkedato: 02.09.2019. Søkestrategien er tilgjengelig på https://psyktestbarn.r-bup.no/no/artikler/ysr-youth-self-report. Fordi det allerede var mange publikasjoner på YSR, ble det ikke gjort ytterligere forsøk på å kontakte forfatterne.

Vi inkluderte alle publikasjoner av studier som har undersøkt og rapportert minst ett av følgende i skandinaviske utvalg:

• normdata for testen
• reliabilitet: indre konsistens, test-retest og endringssensitivitet
• validitet: samsvar med liknende testskårer, samsvar med referansestandard eller annet kriterium, og/eller faktorstruktur

I tillegg, og kun for norske versjoner av YSR, inkluderte vi publikasjoner som rapporterte gjennomsnittsskårer og/eller forekomster for henholdsvis generelle populasjoner og kliniske undergrupper.

Etter fjerning av dubletter gikk begge forfatterne gjennom alle identifiserte publikasjoners sammendrag. Alle publikasjoner som kunne virke relevante ble bestilt inn i fulltekst, og vurderingsprosessen ble gjentatt for disse.

Begge forfatterne vurderte normering, validitet og reliabilitet ved hjelp av en tilpasset versjon av Test review form and notes for reviewers (EFPA 2013). Forfatterne foretok alle vurderinger uavhengig av hverandre.

Resultater

Litteratursøk

Det totale antallet referanser som ble identifisert i litteratursøket var 874 artikler. I tillegg ble en artikkel funnet via referanselisten til en av artiklene. Ved gjennomgang av tittel og sammendrag for alle treffene i søket ble 576 artikler ekskluderte og dermed gjensto 299 artikler til gjennomgang av fulltekst. Av disse ble 148 artikler ekskluderte, da de ikke omhandlet data fra Norge, Sverige eller Danmark, eller ikke representerte vitenskapelige publikasjoner i fagfellevurderte tidsskrifter. De 151 gjenstående fulltekstartikler ble deretter vurdert, og 101 av disse ble ekskluderte, fordi de ikke var i tråd med inklusjonskriteriene i PsykTestBarn. Det gjensto da 27 norske og 23 svenske/danske artikler som ble inkludert i denne kunnskapsoppsummeringen. Da mange publikasjoner er inkludert, settes alle de norske studiene inn i Tabell 1 og alle de svenske og danske studiene i Tabell 2. 

Tabell 1. Inkluderte norske studier

23 svenske og danske artikler oppfylte inklusjonskriteriene.

Tabell 2. Inkluderte svenske/danske studier

Middelverdier i kliniske undergrupper og generelle populasjoner

Totalt 26 av de inkluderte norske studiene rapporterte gjennomsnitt. Totalt 10 av utvalgene var fra populasjoner med somatiske helseproblemer, mens 9 var fra populasjoner med psykiske- eller psykososiale vansker. Til sammen har 14 av studiene med klinisk utvalg rapporterte middelverdier for YSRs hovedskalaer (total skår, internaliserende atferd og eksternaliserende atferd). De kliniske utvalgsstørrelsene varierte fra 13 til 321.

Gjennomsnittlig totalskår på YSR varierte fra 20,8–78,5 i de kliniske utvalgene, mens i de generelle populasjonene varierte totalskåren fra 20,27–49,2. For YSR Internalisering i kliniske grupper varierte de gjennomsnittlige skårene fra 7,7–61,0, mens for YSR Eksternalisering varierte skårene i de samme kliniske gruppene fra 6,7–57,8. Skårene for YSR Internalisering i studier fra generelle populasjoner varierte fra 7,3–16,4, mens skårene for YSR Eksternalisering varierte fra 8,2–14,9 i disse studiene. De minste studiene (N<100) er ikke ført inn i tabell 3 og 4.

Dahl et al. (2006) er en norsk studie med svensk kontrollgruppe, og rapporteres dermed ikke i tabell 3. Undheim & Sund (2010) inkluderes heller ikke i tabell 4 ettersom utvalget er det samme som, men mer spesifisert i Undheim et al. (2011). 

Tabell 3. Middelverdier (M) og standardavvik (SD) for ulike undergrupper
 

Tabell 4. Middelverdier (M) og standardavvik (SD) for generelle populasjoner
 

Normer

Ifølge EFPAs kriterier for evaluering av tester vil utvalg med færre enn 200 deltakere være utilstrekkelig for å normere en test etter klassiske betingelser. Kriteriene skiller imidlertid mellom trivielle og ikke-trivielle testformål og setter utvalgsstørrelsen på under 300 som utilstrekkelig for tester med ikke-trivielle formål. Kriteriene omhandler også hvor gamle normeringsstudiene er og slår fast at studier som bygger på utvalg som er mer enn 20 år gamle vurderes som utilstrekkelige.

Broberg et al. (2001) rapporterte normdata for YSR i aldersgruppene mellom 13–18 år innsamlet i 1995-1997. Det var relativt små forskjeller mellom aldersgruppene både for gutter og jenter og det var ingen interaksjonseffekter for alder og kjønn. Studien estimerte en svarprosent på 85. Utvalget i studien var ikke randomisert, men ungdommer fra skoleklasser i byer med over 450000 innbyggere både nord og sør i landet ble rekruttert, samt at klasser fra både teoretiske og praktiske fag i videregående skole ble inkludert. Normgrunnlaget for 13–14 åringer og 15–16 åringer vurderes som adekvat til godt, mens utvalgsstørrelsen for 17–18 åringer vurderes som for lav til å være et tilstrekkelig grunnlag for svenske normer. Da det er mer enn 20 år siden dataene ble innsamlet vurderes normgrunnlaget som utilstrekkelig.

Ytterligere seks befolkningsbaserte undersøkelser rapporterte gjennomsnittsskårer for henholdsvis samiske og norske 15–18 åringer i Finnmark (Kvernmo & Heyerdahl, 1998), norske, kvenske og samiske ungdommer 15–18 år fra Nordland, Troms og Finnmark (Heyerdahl, et al., 2004), kvenske og samiske og kvenske ungdommer 15–18 år fra Finnmark (Kvernmo & Heyerdahl, 2003), norske ungdommer 11-16 år fra Sør-Trøndelag (Steinsbekk, et al., 2009), norske ungdommer 12–15 år fra Midt-Norge (Undheim, et al., 2011) og danske barn/unge 11–16 år fra Odense og Nordfyn (Henriksen, et al., 2012),

Kvernmo og Heyerdahl (1998) rapporterte data for samiske (N = 242) og norske (N = 206) ungdommer i alderen 15–18 år, men utvalget er ikke randomisert samt at utvalgsstørrelsen for både gutter og jenter vurderes å være utilstrekkelig som normgrunnlag for disse gruppene. Heyerdahl et al. (2004) rapporterte data for YSR for delvis det samme utvalget. De rapporterte skårer for hele utvalget (N = 2647) på 15–18 år gruppert etter kjønn. Utvalget i studien var ikke randomisert. Samiske, kvenske og norske ungdommer fra 23 videregående skoler i de da tre nordligste fylkene i landet (Nordland, Troms og Finnmark) ble rekruttert og studien hadde en svarprosent på 85, men artikkelforfatterne vurderte at utvalget ikke var representativt for nordnorske ungdommer, samt at YSR ikke var brukt for sammenligningsgruppen av norske ungdommer. Studien benyttet amerikanske normer i skåringen av YSR og sammenlignet egne data med de amerikanske normene. Gjennomsnittsalderen hos deltakerne var på 16,9 (SD 0,8), noe som innebærer at de fleste ungdommene i studien var 16–17 år. Man fant ingen effekter av alder og heller ikke sosioøkonomisk status i ungdommenes familier hadde signifikante effekter på hoveddimensjonene i problemskalaen. Utvalget av kvenske og samiske ungdommer i denne studien var det samme som i studien av Kvernmo m. fl. (2003). I sistnevnte studie rapporteres data fra gutter og jenter i alderen 15-18 år (se Tabell 3b), men ungdommene var ikke fordelt på alder i de fire årsklassene som inngikk i studien. Spredningen i alder mellom 15–18 vurderes å være stor og utvalgsstørrelsen for hver årsklasse vurderes i tillegg som for lav til å være et tilstrekkelig grunnlag for samiske og kvenske normer.

Steinsbekk et al. (2009) rapporterte data fra et stratifisert utvalg skoleklasser i Sør-Trøndelag og randomiserte ungdommer (N = 799) i alderen 11–16 år i sin studie. Studien rapporterer YRS skårer for hoveddimensjonene under ett for begge kjønn og alle aldersgrupper. Dersom man deler utvalget inn i aldersgrupper og kjønn er også utvalgsstørrelsen i denne studien for lav til å representere et godt normgrunnlag. Undheim et al. (2011) rapporterte data fra et stratifisert utvalg av skoleklasser som ga et representativt utvalg ungdommer (12–15 år) fra to fylker i Midt-Norge i 1998 og 1999. Studien rapporterte høyere skårer for ungdommer med lesevansker på YSR på begge måletidspunkter, samt en økning i totale problemer og eksternalisering fra T1 til T2 for alle andre deltakere. Spredningen i alder mellom 12–15 vurderes å være stor, og utvalgsstørrelsen for hvert årstrinn vurderes som på grensen for å være et tilstrekkelig grunnlag for norske normer for de ulike aldersgruppene. Dataene er imidlertid mer enn 20 år gamle, noe som bidrar til at normgrunnlaget vurderes som utilstrekkelig.

Henriksen et al. (2012) rapporterte normdata for YSR for hele utvalget (N = 434) på 11–16 år gruppert etter kjønn. Studien hadde en svarprosent på 89, men utvalget var ikke randomisert og inkluderte bare deltakere fra to skoler, hvorav ett var i et byområde og ett i distriktet. Studien rapporterer ikke skårer for hver enkelt aldersgruppe eller grupperte årsklasser, samt at den totale utvalgsstørrelsen for henholdsvis jenter og gutter vurderes som for lav til å representere et godt normgrunnlag.

Reliabilitet

Det er sju norske og fire svenske/danske artikler som rapporterer indre konsistens i form av Cronbachs alfa (α).  (se Tabell 5). Test-retest reliabilitet ble ikke berørt i de inkluderte artiklene.

I de fleste inkluderte artikler fant man at hovedskalaene YSR Total, YSR Eksternalisering og YSR Internalisering hadde god reliabilitet vurdert med EFPAs kriterier. Det er stor variasjon på målt Cronbachs alfa mellom studiene, fra inadekvat (α < 0.60) til god (0.70 ≤ α < 0.80). For eksempel for Total skår målt til α ≥ 0,65 hos Kvernmo & Heyerdahl (2003) og Total skår målt til α = 0,91 hos Lekkou et al. (2007). For syndromskalaene varierte reliabiliteten i studiene mye fra skala til skala som for eksempel i Undheim & Sund (2010) hvor α = 0,57 på syndromskalaen Tilbaketrukket/Deprimert, mens på andre skalaer i den samme studien opererer man med verdier α = 0,65–0,86 på seks av de øvrige syndromskalaene. Flere studier oppgir dessuten store intervaller på Cronbachs alfa som for eksempel hos Räty et al. (2003) med α = 0,56–0,87 på syndromskalaen Engstelig/Deprimert.

Utvalgene i de inkluderte studiene var relativt store. Resultatene fra de norske og svenske studiene, inkludert studier på minoritetsetniske grupper, viser at syndromskalaene Tilbaketrukkethet, Sosiale vansker og til dels Tankeproblemer, var mindre reliable mål enn de øvrige skalaer. Det var også stor variasjon i rapportert indre konsistens mellom studiene, og resultatene bør dermed tolkes med forsiktighet.  

Richter (2015) undersøkte de psykometriske egenskapene ved kortversjonen av spørreskjemaet Brief Problems Monitor i sin studie. Richter oppgir, i tillegg til Cronbachs alfa på YSR (se Tabell 5), også intraklasse korrelasjoner (ICC) på to av YSRs hovedskalaer; Internalisering (0,90) og Eksternalisering (0,86). Dahl et al. (2006) oppga ICC mellom YRS-skårer for ungdommer med ekstremt lav fødselsvekt og foreldrenes CBCL-skårer for ungdommene på alle skalaer, og fant korrelasjonskoeffisienter mellom 0,44–0,65 for et sammenslått utvalg av begge kjønn.

Tabell 5: Cronbachs alfa for alle inkluderte artikler.

Validitet

Validitet i norske studier

Fra det norske søket var det syv studier som belyste validiteten til YSR, og da i hovedsak begrepsvaliditet. Disse kan grupperes avhengig av hvordan de kan sies å belyse begrepsvaliditeten; enten i form av korrelasjoner med andre tester, forskjeller mellom grupper eller faktoranalysestudier. Det var imidlertid ingen av de inkluderte norske studiene som belyste forskjeller mellom grupper eller konfirmatoriske faktoranalyser.

Korrelasjoner med andre tester

En vanlig måte å undersøke begrepsvaliditeten til en test på er å undersøke hvordan testen relaterer seg til andre begreper (konstrukter) som den teoretisk sett skal være lik med eller forskjellig fra. Det ble ikke identifisert noen dedikerte valideringsstudier av YSR på den norske populasjonen, men fem studier som validerte andre måleinstrumenter gjennomførte sine evalueringer ved å sammenligne YSR med andre instrumenter (Tabell 6).

Den første av disse (Aasland & Diseth, 1999) fant en moderat korrelasjon mellom YSR Internalisering og lav selvtillit målt ved Harter Self-Perception Profile for Adolescents (SPPA). Negativ selvevaluering er funnet å være sterkt korrelert med depressive symptomer i flere studier og antas å være en del av symptombildet ved depresjon. En annen norsk studie (Berg-Nielsen, et al., 2003) sammenlignet en gruppe ungdommers skårer på YSR med mødrenes skårer av dem på CBCL. Man fant her en moderat korrelasjon mellom YSR Internalisering og CBCL Internalisering, og en liten til moderat korrelasjon mellom YSR Eksternalisering og CBCL Eksternalisering.  I en tredje studie (Hanssen-Bauer et al., 2010) sammenlignet forskerne YSR med HoNOSCA; et utfallsmål der klinikere skårer barn og unges helse. I denne studien fant forskerne en moderat korrelasjon mellom YSR Total og HoNOSCA Total. På de overordnede skalaer var det også en moderat korrelasjon mellom aggressiv atferd målt med HoNOSCA og Eksternaliserende atferd målt ved YSR, samt en moderat korrelasjon (mellom emosjonelle symptomer målt med HoNOSCA og Internalisering målt ved YSR. På syndromskalanivå fant de en moderat korrelasjon mellom overaktivitet eller oppmerksomhetsproblemer målt ved HoNOSCA og Oppmerksomhetsproblemer målt ved YSR. Det synes å være korrespondanse mellom de to skalaene, noe som underbygger begrepsvaliditeten til begge skalaer, selv om skalaene ikke overlapper. De to skalaene er imidlertid fylt ut av ulike skårere, og samsvaret mellom skårerne er funnet å være noenlunde det samme mellom HoNOSCA og YSR som det er funnet å være mellom HoNOSCA og SDQ, et annet selvrapporteringsskjema for psykiske vansker for barn og unge. I en fjerde studie (Heyerdahl, et al., 2004) sammenlignet man YSR med en kortversjon av Symptom Checklist-12 (SCL-12) og en test for å måle atferdsvansker kalt Conduct Problems scale (CPS). Man fant sterke korrelasjoner mellom YSR Internaliserende atferd og SCL-1 og moderate korrelasjoner mellom YSR Eksternaliserende atferd og CPS. I den femte inkluderte studien som belyser begrepsvaliditet (Undheim & Sund, 2010) sammenlignet man YSR med en mobbeskala bestående av tre subskalaer (Opplevd mobbing, Aggresjon mot andre og Ikke involvert), og fant at alle subskalaer av YSR korrelerte med Opplevd mobbing. YSR skalaen for sosiale problemer korrelerte sterkest. YSR-skalaene korrelerte også med Aggresjon mot andre og der YSR-skalaene for Regelbrytende atferd og Aggressiv atferd korrelerte sterkest. Unge som opplevde mobbing og som var aggressive mot andre hadde signifikant høyere skårer på YSR enn ikke involverte. Det var imidlertid forskjeller mellom de to førstnevnte, der unge som var aggressive mot andre hadde signifikant høyere skårer på YSR Total (), Regelbrytende atferd og Aggressiv atferd, samt lavere skårer på Sosiale problemer, enn unge som opplevde mobbing. Eksternaliserende vansker kjennetegnet de unge som var aggressive overfor andre, mens internaliserende vansker dominerte blant de som opplevde mobbing. Unge i begge disse gruppene hadde signifikant høyere nivå av sosiale problemer enn ikke-involverte unge.

Ved bruk av EFPAs kriterier er majoriteten av studiene for små til at de representerer et adekvat grunnlag for å si noe om testens begrepsvaliditet. Det var bare Heyerdahl et al. (2004) og Undheim et al. (2010) som hadde tilstrekkelige utvalgsstørrelser. Styrken som kreves på adekvate korrelasjoner mellom tester som måler det samme etter EFPAs kriterier er i tillegg r > 0.55, mens kriteriet for en god korrelasjon er r > 0.65. Dette innebærer at det i det foreliggende datamaterialet bare var kortversjonen av SCL-12 som hadde en god korrelasjon, mens underdimensjonen Regelbrytende atferd i YSR korrelerte adekvat med underdimensjonen Aggressiv atferd i mobbeskalaen som Undheim et al. benyttet i sin studie. 

Tabell 6. Korrelasjonskoeffisienter mellom YSR og andre mål (norske studier)

Note. Samtlige r var signifikante. r = bivariat korrelasjon.

Studier som belyser kriterievaliditet

En annen måte å evaluere hvorvidt en test måler det den gir seg ut for å måle er å teste den mot et kriterium eller referansestandard i den virkelige verden. Dersom det er høyt samsvar mellom testskåren og et kriterium, som for eksempel klinisk diagnose, vil dette underbygge at testen har kriterievaliditet. En vanlig måte å evaluere dette på er å beregne en tests sensitivitet og spesifisitet basert på fordelingen av antall sanne og falske positive og negative testresultater. På denne måten kan diagnoseresultat fra en test sammenliknes med den “sanne” diagnosen.

Én studie rapporterte sensitivitet og spesifisitet for psykiatrisk diagnose ved forskjellige terskelverdier for YSR Totalskår (Indredavik, et al., 2005). Referansestandard var det standardiserte diagnostiske intervjuet Schedule for Affective Disorders and Schizophrenia for School Aged Children (K-SADS). Ved 90. percentil av YSR Totalskår var sensitiviteten 23–33% og spesifisiteten 90–98%, avhengig av subgruppe (hhv. barn med svært lav fødselsvekt (N= 56), vekstretardasjon ved fødsel (N=60) og normalvektig kontrollgruppe (N=83). Ved sammenligning av YSR skårer og kriterier for diagnoser ved bruk av K-SADS var sensitiviteten ved YSR lav. Det betyr at YSR i liten grad kan brukes til å fange opp hvorvidt ungdommer vil kvalifisere til en psykiatrisk diagnose. Spesifisitet >90% tilsier videre at YSR i liten grad vil gi utslag hos ungdommer med lavt symptomtrykk. Indredavik et al. (2005) beregnet sensitivitet og spesifisitet hos barn med lav fødselsvekt målt fra 0–14 år, mens Lund et al. (2012) benyttet det samme utvalget ved første måletidspunktet ved 14 år og i tillegg målt ved 20 år. Sistnevnte benyttet en lavere grenseverdi (≥ 84.percentil) og beregnet sensitivitet for YSR for subgruppene til 17–30 % og spesifisitet til 85–96 %. Studien viser dermed at screening for psykisk sykdom ved bruk av YSR ikke alene gir godt grunnlag for klinisk psykiatriske vurderinger for høy-risikogruppen av barn med lav og svært lav fødselsvekt. Ved bruk av EFPAs kriterier er begge studiene altfor små til at de representerer et adekvat grunnlag for å si noe om testens kriterievaliditet.

Validitet – svenske og danske studier

Det var åtte studier som belyste validiteten til YSR med ulike metoder i det svenske/danske søket i form av korrelasjoner med andre tester og faktoranalysestudier.

Korrelasjoner med andre tester

Hovedfunn fra studiene som belyser begrepsvaliditet i form av korrelasjoner er presentert i Tabell 7. De fleste studiene for YSR var gjennomført på ungdom og viste korrelasjoner i forventet retning, der de som var forventet å korrelere negativt var negative og de som var forventet å korrelere positivt korrelerte positivt. Det var moderat til sterke korrelasjoner mellom YRS Internaliserende vansker og andre tester utviklet til å måle internaliserende vansker (Börjesson & Ybrandt, 2012; Ivarsson, et al., 2002). YSR Internaliserende vansker hadde sterkere korrelasjoner med disse andre testene enn YSR Eksternaliserende vansker, noe som indikerer at testene konvergerer med hverandre. Det var også moderate til høye korrelasjoner mellom YSR Eksternaliserende vansker og andre tester som er utviklet for å måle atferdsvansker (Börjesson & Ybrandt, 2012), aggresjon og rusbruk, noe som indikerer at disse testene også konvergerer med hverandre. Dette er i tråd med antakelser om at YSR er et mål på sosiale, emosjonelle og atferdsvansker hos barn og unge i alderen 13–18 år.

Tabell 7. Korrelasjonskoeffisienter mellom YSR og andre mål (svenske/danske studier)

Note. Samtlige r var signifikante. r = bivariat korrelasjon.

Faktoranalysestudier

I en av de inkluderte artiklene fra det svenske/danske søket ble begrepsvaliditeten ved YSR belyst gjennom konfirmatorisk faktoranalyse. I denne studien (Ivanova et. al, 2007) undersøkte forskerne strukturen til YRS i et utvalg (N = 30243) av 11–18 åringer fra 23 land, inkludert Norge, Sverige og Danmark. Denne studien viste at norske (Nøvik, 1999), svenske (Broberg et al. 2001) og danske (Bilenbern, 1999) data passet godt inn i en åttefaktorstruktur (root mean square error of approximation; RMSEA = henholdsvis 0,041, 0,043 og 0,045), og støtter dermed opp under begrepsvaliditeten til YSR i Skandinavia. Testleddene hadde i gjennomsnitt en ladning på 0,60 på de respektive forventede faktorene.

Endringssensitivitet
I kliniske sammenhenger eller i evalueringsforskning er det viktig at de spørreskjemaene vi benytter er sensitive for endring, slik at de kan anvendes som mål på effekten av behandling eller effekten av en intervensjon. Litteratursøket identifiserte imidlertid ingen studier der YSRs sensitivitet for endring ble evaluert. 

Diskusjon og konklusjon

Totalt 27 norske og 23 svenske/danske studier ble inkludert i denne kunnskapsoppsummeringen. Nesten alle de norske studiene rapporterte gjennomsnitt. Om lag halvparten av de norske studiene var gjort med kliniske utvalg og den andre halvparten i generelle populasjoner. Utvalgsstørrelsen varierte veldig, både i førstnevnte (N = 13-321) og sistnevnte (N = 83-2647) utvalg. Gjennomsnittlig Totalskår for YSR varierte fra 20,8 til 78,5 i de kliniske utvalgene, mens den varierte fra 20,3 til 49,2 i studiene med generelle populasjoner. For YRS Internalisering varierte skårene fra 7,7–61,0 i kliniske grupper og fra 7,3–16,4 generelle populasjoner, og for YSR Eksternalisering fra 6,7–57,8 til 8,2–14,9 i henholdsvis kliniske og generelle populasjoner.

Til tross for et relativt høyt antall studier som rapporterte middelverdier og spredning ble det ikke identifisert noen norske studier som rapporterer data som kan gjøres gjeldende som norske normer for YSR, verken for kliniske grupper eller generelle populasjoner. Dette knytter seg i all hovedsak til at utvalgene ikke er randomiserte, samt at de er for små til å representere et godt normgrunnlag når de fordeles på kjønn og alder. Det samme gjelder for en dansk studie som rapporterte data fra den generelle populasjonen. I en svensk studie hadde man tilstrekkelig størrelse på utvalget av jenter og gutter i sammenslåtte aldersgrupper, men deltakerne var ikke randomisert. Ettersom dataene i studien var 23–25 år gamle vurderes heller ikke denne studien å gi et tilstrekkelig grunnlag for skandinaviske normer for YSR. De «multikulturelle normene» som benyttes i skåring av YSR i Norge bygger på sammenslåtte data fra land i en lavskåregruppe bestående av landene Japan, Kina, Serbia, Tyskland, Sverige, Island og Norge (Rescorla et al., 2012). De svenske og norske studiene som er inkludert i dette normgrunnlaget er imidlertid det samme datagrunnlaget som i denne artikkelen, noe som innebærer at representativiteten er svak og dataene svært gamle. Ifølge EFPA kriteriene som ligger til grunn for de vurderinger man gjør i artiklene i PsykTestBarn, bør normdata reflektere de største relevante studiene og de mest meningsfulle normer fremfor gjennomsnitt på tvers av flere studier som varierer i størrelse og kvalitet, noe som representerer en helt annen metodefaglig forankring enn ideen om multikulturelle normer for ASEBAs spørreskjemaer. Enhver norm bør i tillegg vurderes i relasjon til formålet med spørreskjemaet, og det er vanskelig å se at skårer fra for eksempel Kina, eller Sverige for mer enn to tiår siden, er relevante kilder til norske normer i dag. Den danske studien til Henriksen et al. (2012) representerer heller ikke et godt nok grunnlag for normer, verken i Danmark eller Norge. Det at man ikke har norske eller skandinaviske normer for YSR gjør at man har lite grunnlag for sammenligninger av enkeltindividers YSR-skårer opp mot grupper av unge, noe som etter vårt skjønn gjør det vanskelig å tolke enkeltindividers skåringer på meningsfulle måter, både i klinisk og forebyggende arbeid.

Totalt 11 av de inkluderte artiklene beregnet at YSR Totalskår hadde Cronbachs alfa fra 0,65–0,95 som et reliabilitetsmål på indre konsistens. Det er imidlertid stor variasjon på målt Cronbachs alfa mellom studiene, samt at det innad i flere studier er store intervaller i målingene. Det er i tillegg kvalitetsforskjeller mellom de ulike syndromskalaene, slik at noen skalaer konsekvent får lavere reliabilitet enn andre både innad i studier og på tvers av studier. Utvalgene i disse studiene vurderes som adekvate til store. Oppsummert på tvers av studier viser hovedskalaene i YSR god reliabilitet. Den store variasjonen på tvers av studier og mellom de åtte syndromskalaene gjør imidlertid at det bør utvises ekstra forsiktighet i tolkningen på syndromskalanivå. Dette gjelder spesielt for skalaene Tilbaketrukkethet, Sosiale vansker og Tankeproblemer, da reliabiliteten beregnet for disse skalaene var utilstrekkelig etter EFPAs kriterier i flere studier. Test-retest reliabilitet ble ikke vurdert i noen av de inkluderte studiene.

Når det gjelder studier for å validere YSR, og spesielt om testen er egnet til å måle det den er ment å måle, var det bare 12 av totalt 50 inkluderte studier som så på dette og bare fire av disse var norske studier. De fleste av disse studiene viste korrelasjoner i forventet retning. Det var imidlertid ikke høye nok korrelasjoner mellom YRS Internaliserende vansker og andre tester utviklet til å måle internaliserende vansker vurdert med EFPAs kriterier, selv om YSR Internaliserende vansker hadde sterkere korrelasjoner med andre tester som målte det samme enn korrelasjonen man fant for YSR Eksternaliserende vansker. Det var heller ikke høye nok korrelasjoner mellom YSR Eksternaliserende vansker og andre tester som er utviklet for å måle lignende vansker, selv om også disse testene konvergerte med hverandre. Av de norske studiene var det bare en studie som viste god korrelasjon mellom YSR og lignende tester, mens det blant de sju svenske studiene var fire som hadde adekvate til gode korrelasjoner mellom tester som målte det samme. Ytterligere en studie med et svensk utvalg der man sammenlignet faktorstrukturen i testen på tvers av 23 land viste at begrepsvaliditeten for YSR var tilstrekkelig. Skandinaviske studier av begrepsvaliditeten av YSR viser dermed resultater som er i tråd med antakelser om at YSR er et mål på sosiale, emosjonelle og atferdsvansker hos barn og unge i alderen 13-18 år, men denne antakelsen bygger på svært få studier totalt sett og bare fire av studiene har adekvat utvalgsstørrelse vurdert med EFPA’s kriterier.

Implikasjoner for bruk i Norge

Klinikere, rådgivere og andre som anvender YSR bør tolke resultatene med forsiktighet som følge av at det ikke finnes et tilstrekkelig eller oppdatert normgrunnlag for verken norske, svenske eller danske ungdommer. Selv om YSRs egenskaper kan sies å være tilfredsstillende hva angår hovedskalaenes indre konsistens, er det få studier som har undersøkt spørreskjemaets reliabilitet med varierte mål (indre konsistens, test-retest, endringssensitivitet), samt at variasjonen i datamaterialet er veldig stort. Også for spørreskjemaets validitet, der studiene var få og utvalgene i de inkluderte studier var små, foreligger det et svakt empirisk grunnlag til å konkludere om hvorvidt YSR måler det den gir seg ut for å måle. Totalt sett gjør dette at brukere av spørreskjemaet bør utvise forsiktighet i tolkninger av YSR på individnivå. YSR bør først og fremst benyttes som et spørreskjema for å kartlegge enkeltindividers vansker, og som en del av grunnlaget for å iverksette videre tiltak eller behandling.

Det er behov for videre forskning på YSRs psykometriske egenskaper, med særlig fokus på utarbeiding av norske eller skandinaviske normer, reliabilitet målt på ulike måter og i større utvalg, samt spørreskjemaets begrepsvaliditet.
 

Interessekonflikter

Forfatterne oppgir at de ikke har noen interessekonflikter. 

Referanser

Achenbach, T.M., & Rescorla, L. (2001) Manual for the ASEBA School- Age Forms & Profiles. Burlington, VT: University of Vermont, Research Center for Children, Youth & Families.

Achenbach, T.M. (1991) Manual for the Youth Self Report and 1991 Profile. Burlington: University of Vermont Department of Psychiatry.

Achenbach, T.M. & Edelbroch, C.S. (1987) Manual for the youth self-report and profile. University of Vermont. Department of Psychiatry.

Achenbach, T.M., & Rescorla, L. (2007) Multicultural Supplement to the Manual for the ASEBA School-Age Forms & Profiles. Burlington VT: University of Vermont. Research Center for Children, Youth & Families.

Backer-Grøndahl, A. & Martinussen, M. (2018) Måleegenskaper ved den norske versjonen av Brief Problem Monitor (BPM) PsykTestBarn, 1:2. Doi:10.21337/0057

Berg-Nielsen, T. S., Vika, A. & Dahl, A. A. (2003). When adolescents disagree with their mother: CBCL-YSR discrepancies related to maternal depression and adolescent self-esteem. Child: Care, Health and Development, 29(3), 207-213. doi: http://dx.doi.org/10.1046/j.1365-2214.2003.00332.x

Botellero, V. L., Skranes, J., Bjuland, K. J., Lohaugen, G. C., Haberg, A. K., Lydersen, S. et al. (2016). Mental health and cerebellar volume during adolescence in very-low-birth-weight infants: A longitudinal study. Child and Adolescent Psychiatry and Mental Health Vol 10 2016, ArtID 6, 10. doi: http://dx.doi.org/10.1186/s13034-016-0093-8

Broberg, A. G., Ekeroth, K., Gustafsson, P. A., Hansson, K., Hagglof, B., Ivarsson, T. et al. (2001). Self-reported competencies and problems among Swedish adolescents: A normative study of the YSR. European Child and Adolescent Psychiatry, 10(3), 186-193. doi: http://dx.doi.org/10.1007/s007870170025

Börjesson, J. & Ybrandt, H. (2012). Concurrent and predictive validity of the Adolescent Drug Abuse Diagnosis (ADAD) (Vol. 5, s. 20-30): Open Psychology Journal Bentham Open. (Lokalisert på http://urn.kb.se/resolve?urn=urn:nbn:se:umu:diva-49677).

Dahl, L. B., Kaaresen, P. I., Tunby, J., Handegard, B. H., Kvernmo, S. & Ronning, J. A. (2006). Emotional, behavioral, social, and academic outcomes in adolescents born with very low birth weight. Pediatrics, 118(2), e449-e459. doi: http://dx.doi.org/10.1542/peds.2005-3024

Dahle, A. E., Knivsberg, A.-M. & Andreassen, A. B. (2011). Coexisting problem behaviour in severe dyslexia. Journal of Research in Special Educational Needs, 11(3), 162-170. doi: http://dx.doi.org/10.1111/j.1471-3802.2010.01190.x

Ekeroth, K., Engstrom, I., Hagglof, B. & Broberg, A. G. (2003). Self-reported competencies and problems among Swedish girls with eating disorders and a control sample, using the youth self-report. Eating and weight disorders : EWD, 8(4), 274-281.

European Federation of Pscyhologists’ Association (EFPA). (2013). EFPA Review model for the description and evaluation of psychological tests: Test review form and notes for reviewers, v 4.2.6: EFPA.

Fredriksen, P. M., Diseth, T. H. & Thaulow, E. (2009). Children and adolescents with congenital heart disease: Assessment of behavioural and emotional problems. European Child and Adolescent Psychiatry, 18(5), 292-300. doi: http://dx.doi.org/10.1007/s00787-008-0730-8

Gaddlin, P.-O., Finnstrom, O., Samuelsson, S., Wadsby, M., Wang, C. & Leijon, I. (2008). "Academic achievement, behavioural outcomes and MRI findings at 15 years of age in very low birthweight children:" Corrigendum. Acta Paediatrica, 97(12), 1773. doi: http://dx.doi.org/10.1111/j.1651-2227.2008.01138_2.x

Gustle, L. H., Hansson, K., Sundell, K., Lundh, L. G. & Lofholm, C. A. (2007). Blueprints in Sweden. Symptom load in Swedish adolescents in studies of Functional Family Therapy (FFT), Multisystemic Therapy (MST) and Multidimensional Treatment Foster Care (MTFC). Nordic Journal of Psychiatry, 61(6), 443-451. doi: http://dx.doi.org/10.1080/08039480701773196

Hallin, A. L. & Stjernqvist, K. (2011). Adolescents born extremely preterm: Behavioral outcomes and quality of life. Scandinavian Journal of Psychology, 52(3), 251-256. doi: http://dx.doi.org/10.1111/j.1467-9450.2010.00850.x

Hanssen-Bauer, K., Langsrud, T., Kvernmo, S. & Heyerdahl, S. (2010). Clinician-rated mental health in outpatient child and adolescent mental health services: Associations with parent, teacher and adolescent ratings. Child and Adolescent Psychiatry and Mental Health, 4 (no pagination)(29). doi: http://dx.doi.org/10.1186/1753-2000-4-29

Heiervang, E., Stevenson, J., Lund, A. & Hugdahl, K. (2001). Behaviour problems in children with dyslexia. Nordic Journal of Psychiatry, 55(4), 251-256. doi: http://dx.doi.org/10.1080/080394801681019101

Heiervang, K. S., Mednick, S., Sundet, K. & Rund, B. R. (2011). The psychological well-being of Norwegian adolescents exposed in utero to radiation from the Chernobyl accident. Child and Adolescent Psychiatry and Mental Health, 5 (no pagination)(12). doi: http://dx.doi.org/10.1186/1753-2000-5-12

Henriksen, J., Nielsen, P. F. & Bilenberg, N. (2012). New Danish standardization of the Child Behaviour Checklist. Danish Medical Journal, 59(7), A4462.

Heyerdahl, S., Kvernmo, S. & Wichstrom, L. (2004). Self-reported behavioural/emotional problems in Norwegian adolescents from multiethnic areas. European Child and Adolescent Psychiatry, 13(2), 64-72. doi: http://dx.doi.org/10.1007/s00787-004-0359-1

Indredavik, M. S., Vik, T., Heyerdahl, S., Kulseng, S. & Brubakk, A.-M. (2005). Psychiatric symptoms in low birth weight adolescents, assessed by screening questionnaires. European Child & Adolescent Psychiatry, 14(4), 226-236. doi: http://dx.doi.org/10.1007/s00787-005-0459-6

Ivanova, M. Y., Achenbach, T. M., Rescorla, L. A., Dumenci, L., Almqvist, F., Bilenberg, N. et al. (2007). The generalizability of the Youth Self-Report syndrome structure in 23 societies. Journal of Consulting and Clinical Psychology, 75(5), 729-738. doi: 10.1037/0022-006X.75.5.729

Ivarsson, T., Broberg, A. G., Arvidsson, T. & Gillberg, C. (2005). Bullying in adolescence: Psychiatric problems in victims and bullies as measured by the Youth Self Report (YSR) and the Depression Self-Rating Scale (DSRS). Nordic Journal of Psychiatry, 59(5), 365-373. doi: http://dx.doi.org/10.1080/08039480500227816

Ivanova et al. (2019) Testing syndromes of Psychopathology in Parent and Youth Ratings Across Societies. Journal of Clinical Child & Adolescent Psychology, 42 (2), 596-609. doi: 10.1080/15374416.2017.1405352.

Ivarsson, T., Gillberg, C., Arvidsson, T. & Broberg, A. G. (2002). The Youth Self-Report (YSR) and the Depression Self-Rating Scale (DSRS) as measures of depression and suicidality among adolescents. European Child and Adolescent Psychiatry, 11(1), 31-37. doi: http://dx.doi.org/10.1007/s007870200005

Jalling, C., Bodin, M., Romelsjö, A., Källmén, H., Durbeej, N. & Tengström, A. (2016). Parent Programs for Reducing Adolescent’s Antisocial Behavior and Substance Use: A Randomized Controlled Trial. Journal of Child and Family Studies, 25(3), 811-826. doi: 10.1007/s10826-015-0263-y

Kjelsberg, E. & Nygren, P. (2004). The prevalence of emotional and behavioural problems in institutionalized childcare clients. Nordic Journal of Psychiatry, 58(4), 319-325. doi: http://dx.doi.org/10.1080/08039480410005846

Knivsberg, A. M. & Andreassen, A. B. (2008). Behaviour, attention and cognition in severe dyslexia. Nordic Journal of Psychiatry, 62(1), 59-65. doi: http://dx.doi.org/10.1080/08039480801970098

Kornør, H. & Jozefiak, T. (2012). Måleegenskaper ved den norske versjonen av Child Behavior Checklist – versjon 2-3, 4-18, 1½-5 og 6-18 (CBCL). Psyktestbarn. Doi: 10.21337/0014.

Kristensen, H. (2001). Multiple informants' report of emotional and behavioural problems in a nation-wide sample of selective mute children and controls. European Child and Adolescent Psychiatry, 10(2), 135-142. doi: http://dx.doi.org/10.1007/s007870170037

Kvernmo, S. & Heyerdahl, S. (1998). Influence of ethnic factors on behavior problems in indigenous Sami and majority Norwegian adolescents. Journal of the American Academy of Child and Adolescent Psychiatry, 37(7), 743-751. doi: http://dx.doi.org/10.1097/00004583-199807000-00014

Kvernmo, S. & Heyerdahl, S. (2003). Acculturation strategies and ethnic identity as predictors of behavior problems in arctic minority adolescents. Journal of the American Academy of Child and Adolescent Psychiatry, 42(1), 57-65. doi: http://dx.doi.org/10.1097/00004583-200301000-00011

Langeveld, J. H., Israel, P. & Thomsen, P. H. (2010). Parental relations and referral of adolescents to Norwegian mental health clinics. Nordic Journal of Psychiatry, 64(5), 327-333. doi: http://dx.doi.org/10.3109/08039481003675068

Lekkou, S., Astrom, T. & Hagglof, B. (2007). Self-reported mental health and sense of coherence among Swedish and Greek adolescents. Review of Clinical Pharmacology and Pharmacokinetics, International Edition, 21(1), 13-26.

Lund, L. K., Vik, T., Skranes, J., Lydersen, S., Brubakk, A.-M. & Indredavik, M. S. (2012). Low birth weight and psychiatric morbidity; stability and change between adolescence and young adulthood. Early Human Development, 88(8), 623-629. doi: http://dx.doi.org/10.1016/j.earlhumdev.2012.01.006

Nøvik, T. S. (1999b). Validity of the Child Behaviour Checklist in a Norwegian sample. European Child and Adolescent Psychiatry, 8, 247-254.

Rescorla, L., et al. (2007). Epidemiological Comparisons of Problems and Positive Qualities Reported by Adolescents in 24 Countries. Journal of Consulting and Clinical Psychology, 75(2), 351-358. DOI: 10.1037/0022-006X.75.2.351

Rescorla, L., et al. (2012). International epidemiology of child and adolescent psychopathology ii: integration and applications of dimensional findings from 44 societies. J Am Acad Child Adolesc Psychiatry, 51(12). 1273-1283.e8. doi: 10.1016/j.jaac.2012.09.012.

Rescorla, L., et al. (2013). Cross-Informant Agreement Between Parent-Reported and Adolescent Self-Reported Problems in 25 Societies. Journal of Clinical Child & Adolescent Psychology, 4(2), 262-273. DOI: 10.1080/15374416.2012.717870

Raty, L. K. A., Larsson, G., Soderfeldt, B. A. & Wilde Larsson, B. M. (2005). Psychosocial aspects of health in adolescence: The influence of gender, and general self-concept. Journal of Adolescent Health, 36(6), 530.e521-530.e528. doi: http://dx.doi.org/10.1016/j.jadohealth.2004.10.006

Reigstad, B., Jorgensen, K., Sund, A. M. & Wichstrom, L. (2006). Adolescents referred to specialty mental health care from local services and adolescents who remain in local treatment: What differs? Social Psychiatry and Psychiatric Epidemiology, 41(4), 323-331. doi: http://dx.doi.org/10.1007/s00127-005-0027-x

Reinfjell, T., Lofstad, G. E., Nordahl, H. M., Vikan, A. & Diseth, T. H. (2009). Children in remission from acute lymphoblastic leukaemia: Mental health, psychosocial adjustment and parental functioning. European Journal of Cancer Care, 18(4), 364-370. doi: http://dx.doi.org/10.1111/j.1365-2354.2008.00954.x

Renman, C., Engström, I., Silfverdal, S. A., Aman, J. & Åman, J. (1999). Mental health and psychosocial characteristics in adolescent obesity : population-based case-control study. Acta Paediatrica. 88(9), 998-1003. http://dx.doi.org/10.1111/j.1651-2227.1999.tb00196.x).

Richter, J. (2015). Preliminary evidence for good psychometric properties of the Norwegian version of the Brief Problems Monitor (BPM). Nordic Journal of Psychiatry, 69(3), 174-178. doi: http://dx.doi.org/10.3109/08039488.2014.951070

Ronnlund, M. & Karlsson, E. (2006). The relation between dimensions of attachment and internalizing or externalizing problems during adolescence. Journal of Genetic Psychology, 167(1), 47-63. doi: http://dx.doi.org/10.3200/GNTP.167.1.47-63

Rullander, A. C., Lundstrom, M., Lindkvist, M., Hagglof, B. & Lindh, V. (2016). Stress symptoms among adolescents before and after scoliosis surgery: correlations with postoperative pain. Journal of clinical nursing, 25(7-8), 1086-1094. doi: http://dx.doi.org/10.1111/jocn.13137

Räty, L. K., Wilde Larsson, B. M. & Söderfeldt, B. A. (2003). Health-related quality of life in youth: a comparison between adolescents and young adults with uncomplicated epilepsy and healthy controls. Journal of adolescent health, 33(4), 252-258.

Skjeldal, O., Capjon, H., Dahl, A. & Diseth, T. (2009). Therapy in a subtropical climate for children with cerebral palsy. Evidence of physical and psychosocial effects? Acta Paediatrica, International Journal of Paediatrics, 98(4), 670-674. doi: http://dx.doi.org/10.1111/j.1651-2227.2008.01114.x

Steinsbekk, S., Jozefiak, T., Odegard, R. & Wichstrom, L. (2009). Impaired parent-reported quality of life in treatment-seeking children with obesity is mediated by high levels of psychopathology. Quality of Life Research, 18(9), 1159-1167. doi: http://dx.doi.org/10.1007/s11136-009-9535-6

Stenmark, H., Bergstrom, E., Hagglof, B., Ohman, A. & Petersen, S. (2016). Mental problems and their socio-demographic determinants in young schoolchildren in Sweden, a country with high gender and income equality. Scandinavian journal of public health, 44(1), 18-26. doi: http://dx.doi.org/10.1177/1403494815603544

Svedin, C. G., Wadsby, M. & Sydsjo, G. (2005). Mental health, behaviour problems and incidence of child abuse at the age of 16 years: A prospective longitudinal study of children born at psychosocial risk. European Child and Adolescent Psychiatry, Supplement, 14(7), 386-396. doi: http://dx.doi.org/10.1007/s00787-005-0487-2

Tonstad, S., Novik, T. S. & Vandvik, I. H. (1996). Psychosocial function during treatment for familial hypercholesterolemia. Pediatrics, 98(2), 249-255.

Undheim, A. M. & Sund, A. M. (2010). Prevalence of bullying and aggressive behavior and their relationship to mental health problems among 12- to 15-year-old Norwegian adolescents. European Child and Adolescent Psychiatry, 19(11), 803-811. doi: http://dx.doi.org/10.1007/s00787-010-0131-7

Undheim, A. M., Wichstrom, L. & Sund, A. M. (2011). Emotional and behavioral problems among school adolescents with and without reading difficulties as measured by the Youth Self-Report: A one-year follow-up study. Scandinavian Journal of Educational Research, 55(3), 291-305. doi: http://dx.doi.org/10.1080/00313831.2011.576879

Vederhus, B. J., Eide, G. E., Natvig, G. K., Markestad, T., Graue, M. & Halvorsen, T. (2015). Health-related quality of life and emotional and behavioral difficulties after extreme pretermbirth: Developmental trajectories. PeerJ, e738. doi: http://dx.doi.org/10.7717/peerj.738

Wadsby, M., Goran Svedin, C. & Sydsjo, G. (2007). Children of mothers at psychosocial risk growing up: A follow up at the age of 16. Journal of Adolescence, 30(1), 147-164. doi: http://dx.doi.org/10.1016/j.adolescence.2006.08.001

Ybrandt, H. (2008). The relation between self-concept and social functioning in adolescence. Journal of Adolescence, 31(1), 1-16. doi: http://dx.doi.org/10.1016/j.adolescence.2007.03.004

Ybrandt, H. & Armelius, K. (2010a). Adolescents' mental health and their images of self and parents. European Journal of Mental Health, 5(1), 59.

Ybrandt, H. & Armelius, K. (2010b). Peer aggression and mental health problems : self-esteem as a mediator. School Psychology International. 31(2), 146-163). http://dx.doi.org/10.1177/0143034309352267).

Aasland, A. & Diseth, T. H. (1999). Can the Halter Self-Perception Profile for Adolescents (SPPA) be used as an indicator of psychosocial outcome in adolescents with chronic physical disorders? European Child and Adolescent Psychiatry, 8(2), 78-85. doi: http://dx.doi.org/10.1007/s007870050088