Innledning

Felles for personer med autisme er at de sliter med sosial kommunikasjon og samhandling. De kan ha vansker med sosial forståelse, å danne og opprettholde relasjoner og å gjøre seg forstått. Interesser og / eller atferd er ofte innsnevret, repetitiv, rigid eller overdrevet detaljorientert (American Psychiatric Association, 2013). Autismespekterforstyrrelser er i DSM-5 definert av to kriterier. A-kriteriet er at det foreligger en vedvarende svikt i sosial kommunikasjon og sosial interaksjon, og B-kriteriet at det foreligger et avgrenset, repetitivt mønster av atferd, interesser eller aktiviteter. Spennvidden i hvordan disse vanskene viser seg hos den enkelte er stor, varierende fra betydelig kognitiv funksjonsnedsettelse til normal kognitiv funksjon, samt stor variasjon i språklig fungering. I ICD-10 grupperes autismespekterforstyrrelser under gjennomgripende utviklingsforstyrrelser, og kategoriseres i barneautisme, atypisk autisme, Asperger syndrom eller uspesifisert gjennomgripende utviklingsforstyrrelse.

Autism Spectrum Screening Questionnaire (ASSQ) ble publisert første gang i 1999 av Stephan Ehlers, Christopher Gillberg og Lorna Wing (Ehlers et al., 1999). Spørreskjemaet består av de samme spørsmålene som en tidligere versjon, men denne skulle fange opp Asperger syndrom (Ehlers & Gillberg, 1993). ASSQ ble utviklet for å være et screeninginstrument for autisme hos barn og unge med normal eller nær normal intellektuell funksjon (mild psykisk utviklingshemming). Spørreskjemaet er også brukt i forskning både som en kontinuerlig summeskår og et dikotomt mål på autisme basert på en grenseverdi. Spørreskjema utviklet før dette tidspunktet fanget i større grad opp symptomer på autisme hos mer funksjonsnedsatte barn (Ehlers et al., 1999). I praksis skal ASSQ fange opp autismespektersymptomer slik disse fremstår hos personer med høytfungerende autisme og / eller Asperger syndrom. Verktøyet er ifølge forfatterne ikke ment til bruk i diagnostiske vurderinger, men som et rent screeninginstrument for å fange opp barn og unge som trenger en mer omfattende utredning.

ASSQ består av en sjekkliste på 27 ledd som fylles ut av voksne informanter (f.eks. foreldre eller lærere) som kjenner barnet. Leddene ble valgt ut på bakgrunn av klinisk erfaring, resultater fra populasjonsstudier av autismeforekomst samt gjennomgang av relevant faglitteratur (Ehlers & Gillberg, 1993). Instrumentet gir en totalskår som varierer fra 0 til 54 utregnet fra en ordinal skala med verdiene 0, 1 og 2, hvor valgalternativene henholdsvis representerer svarene «stemmer ikke», «stemmer i noen grad» og «stemmer definitivt». Spørreskjemaet er mye brukt og oversatt til en rekke språk inkludert norsk, engelsk, litauisk og mandarinkinesisk.  

I grunnlagsartikkelen ble det samlet inn normdata for svenske foreldre og lærere i et klinisk utvalg med 110 barn i alderen 6 til 17 år (Ehlers et al., 1999). Ulike indikatorer på validitet og reliabilitet ble også vurdert. Test-retest reliabilitet for totalskåren for lærere var r = 0,94, for foreldre r = 0,96. Interraterreliabilitet som ble målt ved korrelasjonen mellom foreldre- og lærerrapportering var r = 0,66. Belegg for validitet ble vist ved en klar korrespondanse mellom ASSQ totalskår og klinisk diagnose autismespekterforstyrrelse, mens instrumenter som er ment til å måle hyperaktivitet, atferdsproblemer og emosjonelle symptomer (Rutters skala og Conners skala) ikke klarte å differensiere mellom autismespekterforstyrrelse og ADHD / atferdsforstyrrelse. Det ble ikke funnet systematiske effekter av kjønn eller intellektuell funksjon på ASSQ totalskår. Det ble presentert anbefalte grenseverdiskårer på bakgrunn av resultatene fra en Receiver Operating Characteristic Analyse (ROC), hvor klinisk diagnostisert autismespekterforstyrrelse ble benyttet som gullstandard. I hovedutvalget ga vektlegging av høy sensitivitet (f.eks. ved generell screening) grenseverdier på 13 for foreldrerapport og 11 for lærerrapport som resulterer i en sann positiv rate (sensitivitet) på henholdsvis 91 % og 90 %, mens falsk positiv rate var på henholdsvis 23 % og 42 % (tilsvarer spesifisitet på henholdsvis 77 % og 58 %). Ved vektlegging av høy spesifisitet (f.eks. i kliniske kontekster med behov for å skille ut mulige tilfeller av autisme fra andre tilstander med sosiale vansker) resulterte grenseverdier på 19 for foreldrerapport og 22 for lærerrapport i en sann positiv rate på henholdsvis 62 % og 70 %, mens falsk positiv rate var på henholdsvis 10 % og 9% (spesifisitet på 90 % og 91 %). I et valideringsutvalg med barn/ungdom med kjent Asperger syndrom ga de samme grenseverdiene (19 for foreldrerapport og 22 for lærerrapport) en sann positiv rate på henholdsvis 82 % og 65 %. I et forsøk på å balansere sensitivitet og spesifisitet foreslo forfatterne en grenseverdi på 19 for foreldrerapportering og 22 for lærerrapportering.

Forfatterne av grunnlagsartikkelen konkluderte med at ASSQ kan benyttes som et enkelt screeninginstrument for autismespekterforstyrrelser i kliniske sammenhenger. En lavere grenseverdi enn den anbefalte vil fange opp flere tilfeller av lærevansker, ADHD og atferdsforstyrrelser.

Ved siden av å ha blitt brukt som screeninginstrument, har ASSQ totalskår blitt benyttet som et kontinuerlig mål på grad av autistiske symptomer i forskning. Flere studier har for eksempel undersøkt om barn eller ungdom som enten hadde ulike nevrologiske diagnoser, ble født med lav fødselsvekt, eller som ble utsatt for mors røyking eller rusmisbruk i svangerskapet hadde en gjennomsnittlig høyere totalskår på ASSQ enn deres jevnaldrende i normalpopulasjonen (Bjørgås et al., 2014; Indredavik et al., 2004; 2007; Ryland et al., 2014; Sandtorv et al., 2018). Andre studier har undersøkt hvor godt ASSQ totalskår korrelerer med psykiske vansker som ADHD-symptomer, atferdsproblemer og emosjonelle vansker eller styrker som IQ, leseforståelse og prososial atferd (Andersen et al., 2017: Ryland et al., 2014; Stormark et al., 2008; Åsberg et al., 2010). En har også brukt ASSQ totalskår for å undersøke om grad av autisme har sammenheng med nivået av visse signalstoffer i hjernen (Brix et al., 2015).

ASSQ er gratis og ble oversatt til norsk av Anita Eriksson og Anne Mari Sund i 1996. Det var ikke behov for tilbakeoversettelse grunnet språknærhet mellom svensk og norsk. Kontaktperson for den norske versjonen er Anne Mari Sund, RKBU Midt-Norge, NTNU. Det er ikke angitt spesielle kompetansekrav for bruk eller tolkning av ASSQ.

ASSQ kan brukes som screeningverktøy i generalist-poliklinikker i BUP for å vurdere behov for videre utredning av autisme. Verktøyet kan også fungere som screeningverktøy i kommunal helsetjeneste.

Metode

Bibliotekar Sølvi Biedilæ ved Regionsenter for barn og unges psykiske helse, helseregion Øst og Sør, søkte etter dokumentasjon på testens psykometriske egenskaper i databasene, PsycINFO, Medline, Embase, Cochrane Library, Oria (BIBSYS), Norart, SveMed+, CRIStin.no, NORA.no og Swepub. Søkedato: 29.9.2021 Søkestrategien er tilgjengelig på https://psyktestbarn.r-bup.no/no/artikler/assq-autism-spectrum-screening-questionnaire.  Vi kontaktet også førsteforfattere av inkluderte artikler, samt oversetterne av ASSQ, for å identifisere dokumentasjon som eventuelt ikke ble fanget opp av det systematiske søket.
 

Vi inkluderte alle publikasjoner av studier som har undersøkt og rapportert minst ett av følgende i skandinaviske utvalg:
•           normdata for testen
•           reliabilitet: indre konsistens, test-retest, interrater og endringssensitivitet
•           validitet: samsvar med liknende testskårer, samsvar med referansestandard eller annet kriterium, og/eller faktorstruktur
 

I tillegg, og kun for norske versjoner av ASSQ, inkluderte vi publikasjoner som rapporterte gjennomsnittsskårer og/eller forekomster for henholdsvis generelle populasjoner og kliniske undergrupper.

Etter fjerning av dubletter gikk begge forfatterne gjennom alle identifiserte publikasjoners sammendrag. Forfatterne foretok vurderingene uavhengig av hverandre. Alle publikasjoner som kunne virke relevante ble bestilt inn i fulltekst, og vurderingsprosessen ble gjentatt for disse.

Begge forfatterne vurderte normering, validitet og reliabilitet ved hjelp av en tilpasset versjon av Test review form and notes for reviewers (EFPA 2013). Forfatterne foretok vurderingene uavhengig av hverandre.

Resultater

Litteratursøk

Litteratursøket ga 121 aktuelle skandinaviske artikler. Etter dublettfjerning gjensto 114. Screening av tittel og sammendrag resulterte i 38 eksklusjoner, slik at 76 artikler ble vurdert i fulltekst. 46 artikler ble deretter ekskludert, noe som førte til at 21 norske og 9 svenske eller danske artikler ble inkludert i henhold til kriteriene. Eksklusjonsgrunnen var i nesten alle tilfellene at artikkelen ikke inneholdt noen psykometriske data. I et par tilfeller var det også blandede skandinaviske utvalg eller bruk av kun deler av ASSQ som var eksklusjonsårsak. Blant de inkluderte artiklene (se tabell 1) var det en serie artikler med utgangspunkt i Barn i Bergen studiet. I tillegg til den originale studien (Ehlers et al., 1999) utgjorde denne serien med artikler det tyngste grunnlaget for å vurdere de psykometriske egenskapene til ASSQ (Posserud et al., 2006; Posserud et al., 2008; Posserud et al., 2009). Her ble en totalpopulasjon av byens 7–9-åringer kartlagt med ASSQ av lærere og foreldre. Kartleggingen ga normdata i form av middelverdier, spredning og indre konsistens, og i senere studier også validering av instrumentet med beregning av sensitivitet og spesifisitet, faktoranalyse, samt belegg for validitet. Andre norske studier har oppgitt middelverdier for ulike kliniske grupper (autisme, cerebral parese, nevrologiske tilstander, premature og barn av mødre med rusmisbruk eller røyking i svangerskapet) og belegg for validitet (diskriminerende validitet, kjent gruppe validitet) (se tabell 1).

De svenske og danske studiene (se tabell 2) inneholdt det originale svenske kliniske utvalget som ASSQ opprinnelig ble publisert på (Ehlers et al., 1999). Her presenteres belegg for validitet og reliabilitet. Andre studier har oppgitt middelverdier for ASSQ i kliniske grupper (autisme, ADHD, OCD) og data som understøtter diskriminerende validitet og indre konsistens.

Tabell 2. Inkluderte svenske og danske studier

¹ Utvalg med undergrupper fra både Norge, Sverige og Danmark. Artikkelen er inkludert i både norske og skandinaviske treff.
² To ulike artikler publisert i 2010 som oppgir data fra det samme utvalget
³ Jentene er fra samme utvalg som Kopp, 2010 

Middelverdier og/eller forekomster i kliniske undergrupper
 

Posserud et al. (2006) oppga middelverdier og spredning for en hel alderskohort (7–9 år), rapportert av både foreldre og lærere. Andre studier inneholdt middelverdier og spredning for ulike kliniske undergrupper (autisme, cerebral parese, kroniske sykdommer, nevrologiske lidelser, dysmature, barn hvor mor røykte i svangerskapet og kontrollgrupper) (se tabell 3). Gjennomgående viser studiene at ASSQ skiller klart mellom grupper med diagnostisert autisme og andre kliniske grupper, mens kontrollgruppene har svært lave skårer på ASSQ.

I gjennomgangen av artiklene ble det funnet flere artikler (Sivertsen et al., 2012; Ryland et al., 2012; Bjørgås et al., 2014; Sandtorv et al., 2018) hvor ett av spørsmålene i ASSQ foreldreskjema var utelatt grunnet en feil i andre bølge av Barn i Bergen studiet. Dette medfører at middelverdier fra disse studiene ikke er direkte sammenlignbare med studier hvor alle ledd er benyttet. Studiene er derfor ikke rapport i tabell 3, som presenterer middelverdier for ulike undergrupper.

Normer
 

Ingen av de inkluderte studiene rapporterte nasjonale normdata for testen. Normdataene for det svenske kliniske utvalget ble oppgitt i grunnlagsartikkelen (Ehlers et al., 1999), og regionale normdata for lærerrapporter av skolebarn i en bydel av Gøteborg (Ehlers & Gillberg, 1993). I tillegg oppga en norsk publikasjon regionale normdata for ASSQ i Bergen (Posserud et al., 2006). I denne totalpopulasjonsstudien av barn i alderen 7–9 år (Barn i Bergen – studiet) ble ASSQ utfylt av lærere og foreldre. Dataanalysen viste at ASSQ-skårene ikke var normalfordelt, men sterkt positivt skjevfordelt med en tydelig gulveffekt hvor 52,2 % og 25,8 % fikk en totalskår på 0 på henholdsvis foreldre- og lærerrapporteringer. Dette medfører at det ikke er psykometrisk meningsfullt - og misvisende - å beregne gjennomsnitt og standardavvik og benytte dette som normer, da denne typen normer forutsetter normalfordelte data. Det vil da være mer informativt å anvende en prosentiltabell slik det er presentert i denne artikkelen (se tabell 4).

Reliabilitet
 

To svenske studier har funnet utmerket test-retestreliabilitet for både foreldre- og lærertotalskåren over 2 uker i en klinisk populasjon (r = 0,94, r = 0,96) (Ehlers et al., 1999), og for lærertotalskåren over 8 måneder i en skolepopulasjon (r = 0,90) (Ehlers & Gillberg, 1993). Sistnevnte studie fant videre at interraterreliabilitet mellom ulike lærere som skåret de samme elevene var tilfredsstillende (r = 0,79). I førstnevnte studie fant en at korrelasjonen mellom lærer- og foreldrerapport på totalskåren også var tilfredsstillende (r= 0,66). Korrelasjon mellom foreldrerapporterte symptomer og lærerrapporterte symptomer var dog utilfredsstillende i Barn i Bergen – studiet (Posserud et al., 2006). Her var korrelasjonen mellom lærerrapportering og foreldrerapportering på r = 0,48 (p < 0,001) for gutter og r = 0,32 (p < 0,001) for jenter. Kappa enighet for å definere et barn som høytskårende på ASSQ var 0,30 (p < 0,001) for gutter og 0,14 (p < 0,001) for jenter. Kappa enighet (vektet kappa) for hele skalaen v ar 0,40.

En norsk studie (Posserud et al., 2008) har funnet at indre konsistens, målt ved Cronbachs alfa, er høy for både foreldrerapport (alfa = 0,86) og lærerapport (alfa = 0,89) for totalskalaen. Arildskov og kollegaer (2016) fant det samme for lærerrapport i kliniske utvalg av barn med OCD i Sverige, Danmark og Norge (alfa = 0,82–0,92). Cronbachs alfa for to av de tre subskalaene Motorikk/tics/OCD og Autistisk stil har vist seg å være generelt lav for både foreldre og lærerapport, hvor den ofte er rapportert til å være lavere enn 0,70. Cronbachs alfa for subskalaen Sosiale vansker er derimot som oftest relativt høy (Arildskov et al., 2016; Posserud et al., 2008).

Validitet
 

Screening

Forfatterne av grunnlagsartikkelen anbefaler en grenseverdi på 19 for foreldre- og 22 for lærerrapporteringen for å balansere sensitivitet og spesifisitet, noe som ga en sensitivitet på henholdsvis 62 % og 70 % Ehlers et al., 1999). En sensitivitet på rundt 70 % ble også funnet i et annet svensk utvalg når en satt grenseverdien for foreldrerapporteringen til 19 (Kopp & Gillberg, 2011). Ehlers, Gillberg og Wing (1999) anbefaler lavere grenseverdier (13 for foreldrerapport og 11 for lærerrapport) om en ønsker å prioritere sensitivitet på bekostning av spesifisitet. I Barn i Bergen studiet anbefalte Posserud, Lundervold og Gillberg (2006) ved screening i normalpopulasjoner først grenseverdien ≥15 på enten foreldreskjema eller lærerskjema som indikasjon på mulig autismespekterforstyrrelse. I valget av denne grenseverdien er sensitivitet prioritert fremfor spesifisitet, noe som medfører at det vil være en del falske positive resultater med grenseverdien ≥15. Forfatterne estimerer at 5,6 % av barna i populasjonen vil få en skår på 15 eller høyere med denne grenseverdien.

I Posserud et al. (2009) ble ASSQ validert i det samme utvalget som nevnt ovenfor. Her ble autismediagnosene stilt basert på en klinisk utredning som inkluderte Development and Well-Being Assessment (DAWBA; Goodman et al., 2000), Diagnostic Interview for Social and Communication Disorders (DISCO; Wing et al., 2002) og Kiddie-SADS (Kaufman et al., 1997). Det ble konkludert med en anbefalt grenseverdi på ≥ 17 ved inspeksjon av ROC-kurve. Dette forutsatte bruk av både foreldrerapportering og lærerrapportering, og at minst en av disse hadde totalskår ≥17. Valget av denne grenseverdien gir en sensitivitet på 0,91, en spesifisitet på 0,86 og en positiv prediktiv verdi (PPV) og negativ prediktiv verdi (NPV) på henholdsvis 36 % og 99 %.

I den samme undersøkelsen (Posserud et al., 2009) fikk mer enn 90 % av barna med enten diagnosen autismespekterforstyrrelse (ASF) eller den bredere autistiske fenotypen utslag over grenseverdien på ASSQ (≥ 98 % ved foreldrerapportering og/eller lærerrapportering). Det ble videre funnet at ASSQ også fanget opp ASF hos barn med lavt intellektuelt funksjonsnivå (psykisk utviklingshemming) og i normalvariasjonens nedre del (IQ 70–85). Det ble funnet svært få jenter (kun to) med validert diagnose autisme, hvorav en av disse ble fanget opp av foreldrerapportering, mens ingen av dem ble fanget opp av lærerrapportering. I den svenske studien Kopp & Gillberg (2011) var det en større andel diagnostiserte jenter med autisme (n=27). Studien støtter derfor at foreldreversjonen av ASSQ også kan fange opp jenter med en slik diagnose. Ved bruk av 19 som grenseverdi var sensitiviteten på ca. 70 % og spesifisiteten på ca. 85 %, noe som er relativt likt det som ble funnet i grunnlagsartikkelen (Kopp & Gillberg, 2011).

Begrepsvaliditet

Et måleinstruments begrepsvaliditet handler om hvorvidt instrumentet i praksis fanger opp det underliggende konstruktet vi ønsker å måle. Her er vi da opptatt av om ASSQ faktisk er et godt mål på det underliggende trekket autisme. Studier fra både Norge og andre skandinaviske land har gitt støtte til begrepsvaliditeten ved at barn med autismediagnose typisk skårer høyere på totalskåren for ASSQ sammenliknet med grupper av barn hvor en skulle forvente lavere skår. Dette gjelder for matchede barn fra normalpopulasjonen (Allik et al., 2006a; Andersen et al., 2017; Andersson et al., 2013; Kopp & Gillberg, 2011) samt barn med ADHD (Kopp & Gillberg, 2011), lærevansker (Ehlers et al., 1999) og en samlegruppe bestående av barn med ADHD, atferdsforstyrrelser og opposisjonell atferdsforstyrrelse (Ehlers et al., 1999). Ivarsson og Melin (2008) fant videre innen et klinisk utvalg med barn med OCD at barna som også hadde en autismediagnose hadde signifikant høyere ASSQ totalskår enn de som ikke hadde det. I Barn i Bergen - studiet ble det videre, som en kunne forvente, funnet at totalskår på ASSQ korrelerte høyere med delskalaen venneproblemer (r = 0,67 – 0,71 for lærere og r = 0,60 for foreldre), enn de andre delskalaene til Strength and Difficulties Questionnaire (SDQ; Goodman, 2001) som måler emosjonelle symptomer, atferdsproblemer, hyperaktivitet og prososial atferd (Posserud et al., 2008; Stormark et al., 2008).

Det ble ikke funnet noen studier som undersøkte skalaens konvergerende validitet med andre mål på autisme. Noen resultater kan reise spørsmål ved diskrimineringsvaliditeten til skalaen ettersom høye korrelasjoner (r> = 0,70) har blitt rapportert mellom ASSQ totalskår og totalskåren til instrumenter som måler symptomer på psykiske problemer: Rutter Children's Behaviour Questionnaire totalskår - foreldre og lærerrapport (Ehlers et al., 1999), Conners Teacher Rating Scale totalskår (Ehlers et al., 1999), Child Behavior Checklist (CBCL) totalskår -foreldrerapport (Andersen et al., 2017), SDQ totalskår - lærerrapport (Stormark et al., 2008). Tilsvarende høye korrelasjoner har også blitt funnet mellom ASSQ og skalaer som måler et domene: SDQ-venneproblemer - lærerrapport (Stormark et al., 2008), uoppmerksomhet målt ved hjelp av ADHD rating scale IV (ARS-IV) foreldrerapport (Andersen et al., 2017) samt et spesialdesignet ADHD-mål hvor forskerne slo sammen to mål på ADHD og brukte både foreldre og lærerrapport (Åsberg et al., 2010).

I Barn i Bergen studien har hovedkomponentanalyse (PCA) og eksplorerende faktoranalyse (EFA) på ASSQ gitt støtte til en trefaktorløsning bestående av faktorene sosiale vansker, motorikk/tics/OCD og autistisk stil. Denne faktorløsningen er blitt funnet på data fra begge grupper av informanter (lærere og foreldre) og når barna var 7-9 år (Posserud et al., 2008) og 11-13 år (Ryland et al., 2012). Mens faktorene sosiale vansker og autistisk stil kan tolkes som å være i rimelig overenstemmelse med A og B kriteriene til DSM-5, synes faktoren motorikk/tics/OCD å måle noe som ligger utover disse kriteriene.

Diskusjon

ASSQ ble utviklet som et screeningsinstrument for autisme hos barn og unge med normal eller nær normal intellektuell funksjon (mild psykisk utviklingshemming). Skjemaet har også blitt brukt i forskning som et mål på grad av autismesymptomer eller, basert på en grenseverdi, som et proksimalt mål på autisme i diagnostisk forstand. I denne oppsummeringen ble det til sammen funnet 21 norske og 9 svenske eller danske artikler som ble ansett som relevante.

Når en vurderer måleegenskapene til en test, er det viktig å tå hensyn til hva en ønsker å bruke den til og hva en tolker skåren som et uttrykk for. Om ASSQ brukes som screeningverktøy, er det særlig relevant at testen på reliabelt vis er tilstrekkelig sensitiv til å fange opp barn med autisme samtidig som at den bør kunne utelukke barn som ikke har autisme på en tilfredsstillende og pålitelig måte. Studier fra Sverige og Norge gir god støtte til at instrumentet kan være et nyttig screeninginstrument i både kliniske populasjoner og normalpopulasjoner. Svenske studier som har undersøkt instrumentets test-retest reliabilitet og samsvar mellom rapporteringene til ulike lærere om det samme barnet gir videre støtte til at ASSQ har utmerket reliabilitet i både totalpopulasjoner og kliniske populasjoner.

Som nevnt i innledningen foreslo de svenske utviklerne av skjemaet opprinnelig en grenseverdi på 19 for foreldreskjemaet og 22 for lærerskjemaet for å balansere sensitivitet og spesifisitet. Dette identifiserte henholdsvis 70 % og 62 % av sanne positive Asperger-tilfeller i deres studie. Vi tror en del vil oppfatte dette som relativt lav sensitivitet ettersom en står i fare for å overse relativt mange barn med Asperger i en screeningssituasjon (falske negative). Sensitiviteten til instrumentet kan økes ved å benytte lavere grenseverdier, men dette vil da gå på bekostning av at en får flere falske positive (lavere spesifisitet), noe som vil både kreve mer diagnostiske ressurser og potensielt være belastende for de barna (og familiene deres) som er falske positive. Slike overveielser kan være en mulig grunn til at skjemaeierne nå oppgir at 15 er ansett som grenseverdi for ikke-kliniske populasjoner og 19 for kliniske populasjoner i Sverige (Göteborgs Universitet, 2023). Et svært lovende alternativ synes å være å kombinere svar fra både foreldre og lærere i screeningen. I motsetning til hva en har funnet i svenske kliniske studier, har en funnet utilfredsstillende samsvar mellom rapporteringene til foreldre og lærere på ASSQ i det store norske Barn i Bergen studiet. Dette har senere også blitt funnet i en stor finsk populasjonsstudie (Mattila et al., 2009), og er i tråd med det som typisk har blitt funnet for grad av interraterreliabilitet i rapporteringen av barns psykopatologi mer generelt (De Los Reyes, 2011). I den forbindelse er det viktig å legge vekt på at forskjellen mellom informanter ikke nødvendigvis bare skyldes målefeil, men også kan skyldes at barn med autisme, kanskje spesielt de høytfungerende, kan oppføre seg ulikt i de ulike kontekstene som informantene baserer sine rapporteringer fra (f.eks. hjem versus skole; Posserud et al., 2006). Både lærere og foreldre vil da kunne bidra med nyttig og valid informasjon om barnet. I tråd med dette fant Posserud og hennes kollegaer at en kan oppnå både høy grad av sensitivitet (r = 0,91) og høy grad av spesifisitet (r = 0,86) dersom en kombinerer foreldre- og lærerrapporteringer og setter grenseverdien til at minst en av disse informantene må ha en totalskår på 17 eller mer. Gitt den lave prevalensen av autisme i befolkningen er det ikke overraskende at forfatterne oppgir at positiv prediktiv verdi (PPV) er lav i også dette tilfellet. De fant at kun 36 % av de screening positive ble diagnostisert med en autismediagnose. Dette understreker viktigheten av å benytte ASSQ som et rent screeninginstrument som må følges opp med grundige diagnostiske vurderinger i ettertid. I denne forbindelse kan det nevnes at enkelte forskningsartikler benytter screenpositive som mål for autismediagnose (f.eks. Arildskov et al., 2016; Fevang et al., 2016; Sivertsen et al., 2012; Posserud et al., 2018). Dette vil føre til ukjent grad av skjevhet i forskningsfunnene grunnet den lave PPV-verdien, som betyr at flesteparten som tilhører denne gruppen mest sannsynlig ikke ville blitt diagnostisert med autisme.
 

ASSQ som et kontinuerlig mål på autisme

ASSQ har blitt benyttet som et kontinuerlig mål på grad av autistisk symptomatologi i forskning. Ved slik bruk vil psykometriske egenskaper som indre konsistens, og begrepsvaliditet være høyst relevant for vurderingen av spørreskjemaets måleegenskaper.

Flere studier har gitt støtte til begrepsvaliditeten ved at barn med autismediagnose som gruppe skårer betydelig høyere på ASSQ totalskår enn barn fra både normalpopulasjonen og med andre diagnoser som ADHD og lærevansker. En studie som tok utgangspunkt i en skala som måler flere typer psykiske vansker (SDQ) fant, som en kunne forvente, at skalaen hadde særlig høy sammenheng med et mål på sosiale vansker (Posserud et al., 2008). Det ble ikke funnet noen studier som har undersøkt konvergeringsvaliditeten til ASSQ opp mot andre skalaer som har til hensikt å måle autisme, og dette bør derfor undersøkes i senere valideringsstudier av skalaen. Skalaen synes å ha god diskriminantvaliditet i forhold til skalaer som måler visse psykiske problemer, som for eksempel emosjonelle problemer (f.eks. Stormark et al., 2008), mens den er mer usikker på andre problemområder. Flere studier har funnet en meget høy korrelasjon (r >=0,70) mellom ASSQ totalskår og enkelte mål på ADHD/uoppmerksomhet samt totalskår til multidimensjonale skalaer, slik som SDQ, som måler diverse psykiske problemer (Andersen et al., 2017; Ehlers et al., 1999; Stormark et al., 2008; Åsberg et al., 2010). Det blir viktig for fremtidig forskning å belyse i hvor stor grad disse høye korrelasjonene er reelle, og uttrykk for den høye graden av komorbiditet med andre fysiske og psykiske sykdomstilstander for denne gruppen (Matson & Goldin, 2013), og i hvor stor grad de kan være et resultat av at ASSQ ikke synes å være et helt rent mål på autisme.

Til tross for at flere studier har konkludert med at skalaen har høy indre konsistens (Posserud et al., 2008; Arildskov et.al., 2016), er det grunn til å stille spørsmål ved gyldigheten til denne konklusjonen ettersom indre konsistens reliabilitetsmål som Cronbachs alfa implisitt antar at skalaen er unidimensjonal (Cho & Kim, 2015; Watkins, 2017). Studier som har undersøkt skalaens strukturelle validitet gir ikke støtte til å tolke totalskår som et unidimensjonalt mål på autismesymptomatologi. Eksplorerende hovedkomponent- og faktoranalyser (Posserud et al., 2008; Ryland et al., 2012) av instrumentet har resultert i tre faktorer – sosiale vansker, motorikk/tics/OCD og autistisk stil. To av disse faktorene – sosiale vansker og autistisk stil – korresponderer godt med diagnosen autismespekterforstyrrelse slik den er definert i DSM-5. A-kriteriet (Vedvarende svikt i sosial kommunikasjon og sosial interaksjon) synes å være dekket av faktoren sosiale vansker, mens B-kriteriet (Avgrenset, repetitivt mønster av atferd, interesser eller aktiviteter) synes å korrespondere med innholdet i faktoren autistisk stil. Den tredje faktoren – motorikk/tics/OCD – korresponderer derimot i mindre grad med diagnostiske kriterier for autismespekterforstyrrelse, og kan etter vår vurdering muligens forstås som spørsmålsledd som til dels måler symptomer på andre diagnoser, som OCD, ticsforstyrrelse og motoriske vansker / ADHD. Det er en svakhet at analysene som har undersøkt faktorstrukturen ikke har tatt hensyn til at spørreleddene er ordinale og skjevfordelte, noe som kan skape skjevhet i resultatene (Holgado-Tello et al., 2010). Ved fremtidige analyser bør dette tas hensyn til ved bruk av for eksempel ordinal faktoranalyse eller item responsteori. Det savnes også undersøkelser om hvorvidt faktorstrukturen er invariant på tvers av ulike subgrupper (f.eks. kjønn, alder og etnisitet).

Posserud, Lundevold og Gillberg (2006) åpner for at totalskår kan tolkes som uttrykk for en konstellasjon av ulike trekk som er kontinuerlig fordelt i befolkningen, hvor de med en autismediagnose representerer ekstreme ytterpunkter. Dette fordi fordelingen av totalskår til ASSQ i Barn i Bergen populasjonen viste en jevn kurve fra lave skårer til svært høye skårer.  Det faktum at ASSQ er multidimensjonal skaper flere potensielle utfordringer ved benyttelsen av totalskår i forskning. For det første er det uklart hvor mye de ulike dimensjonene hver for seg bidrar til totalskår og dermed til skalaens samvariasjon med andre konstrukt. For det andre vil barn kunne oppnå identisk skår på testen basert på veldig ulike kombinasjoner av verdier på de underliggende faktorene, noe som også vil bidra til uklarhet (Strauss & Smith, 2009). Totalskår kan da bli en sammenblanding av mer tradisjonelle autismesymptomer og symptomer på OCD, ticsforstyrrelse og motoriske vansker / ADHD samt for eksempel det å ha opplevd mobbing eller å ha få venner, med ulik grad av vekting for hver enkel person. En løsning på dette problemet vil kunne være å bruke subskalaene til ASSQ (basert på faktoranalysene), mer aktivt i forskning enn det gjøres i dag, ettersom disse vil kunne potensielt kunne gi mer presise og tolkbare svar enn ved bruk av totalskår. En klar begrensing med en slik strategi er at to av de tre subskalaene (Motorikk/tics/OCD og Autistisk stil)  har en lavere indre konsistens enn det som typisk er anbefalt i litteraturen (Cronbachs alfa >= 0,70; (Arildskov et al., 2016; Posserud et al. 2008).

Multidimensjonalitet er likevel ikke nødvendigvis et problem for bruken av totalskår dersom det finnes en sterk dominerende faktor som påvirker svarene på alle de ulike spørreleddene til tross for tilstedeværelsen av andre mindre subfaktorer (Reise et al., 2013). I tråd med dette har minst to studier funnet støtte, ved bruk av bifaktormodeller, for at en slik dominerende faktor forklarte en høy andel av variansen av totalskåren til to andre autismeskalaer (Del Giudice et al., 2021; Murray et al., 2017). Å gjøre tilsvarende undersøkelser for ASSQ vil være potensielt nyttig for vurderingen av begrepsvaliditeten til ASSQ totalskår. Forholdstallet mellom første og andre eigenvalue i hovedkomponentanlysen til Posserud et al. (2008) var såpass høyt som litt over og litt under 4 for henholdsvis lærer- og foreldrerapportene, noe som gir en viss støtte til tilstedeværelsen av en dominant faktor (Slocum-Gori & Zumbo, 2011).

Hvis det er hensiktsmessig å anse ASSQs totalskår som et kontinuerlig mål på autismesymptomatologi i totalbefolkningen, er det viktig å understreke at skalaen, som ble laget for screening, har sin klare begrensing ved å ha en relativt betydelig gulveffekt. Selv om det ikke finnes nasjonale normdata for skalaen, så viser regionale normdata fra den store Barn i Bergen studiet at cirka en fjerdedel av barna ble skåret til 0 på foreldrerapporteringen, mens så mye som halvparten fikk denne skåren på lærerrapporteringene. Et viktig mål for fremtidig forskning på ASSQ blir, slik vi ser det, å klargjøre hva totalskår er et uttrykk for, hvilken målemodell som er mest hensiktsmessig for å forstå autisme, samt når det er mest nyttig å bruke totalskår eller en eller flere av subskalaene i forskning. Slik forskning kan potensielt også bidra med større forståelse av autisme i seg selv. Det er fortsatt uklart om en skal anse autisme som et kontinuerlig trekk i hele befolkningen, samt hvordan en skal forstå sammenhengen mellom autisme som generelt begrep, sosial kommunikasjon/sosial interaksjon, og avgrenset, repetitivt mønster av atferd, interesser eller aktiviteter (Mandy & Skuse, 2008; Waterhouse et al., 2016).

Konklusjon

ASSQ synes å ha utmerket test-retest reliabilitet og tilfredsstillende begrepsvaliditet. Det er behov for mer forskning på konvergerende validitet overfor andre tester som måler autisme og diskriminerende validitet overfor tester som måler andre konstrukt som f.eks. ADHD. Tilgjengelig forskning gir god støtte for at ASSQ kan være et nyttig screeninginstrument for å avdekke barn i behov av videre utredning for autisme. Det anbefales at en bruker en kombinasjon av foreldre- og lærerapporter i dette arbeidet. Selv om det er god støtte for at ASSQ kan være et nyttig screeninginstrument er det helt klart behov for mer forskning på screeningegenskapene til ASSQ. Det er særlig ønskelig med mer forskning på hvor godt instrumentet fungerer som screeninginstrument på tvers av ulike demografiske grupper i befolkningen (f.eks. sosioøkonomisk status, kjønn, alder og etnisitet).

Det er knyttet stor grad av usikkerhet til gyldigheten av å tolke totalskår som et kontinuerlig mål på hvor barn/unge befinner seg på autismespekteret gitt skalaens multidimensjonalitet og det faktum at den ikke synes å være et rent mål på autisme. Stor usikkerhet er også knyttet til hvor valid det er å benytte screening positive som proxy for diagnostisert autisme i forskning ettersom et slikt mål vil inneholde en klar overvekt av falske positive. Begge disse praksisene gir ukjent grad av skjevhet i forskningen på autisme, noe som bør klargjøres i videre forskning.

Interessekonflikter

Kyrre Breivik og Kristian Køhn erklærer herved at de ikke har noen interessekonflikter.

Referanser

Allik, H., Larsson, J.-O. & Smedje, H. (2006a). Sleep Patterns of School-Age Children with Asperger Syndrome or High-Functioning Autism. Journal of Autism and Developmental Disorders, 36(5), 585-595. http://dx.doi.org/10.1007/s10803-006-0099-9

Allik, H., Larsson, JO. & Smedje, H. (2006b). Insomnia in school-age children with Asperger syndrome or high-functioning autism. BMC Psychiatry 6, 18 https://doi.org/10.1186/1471-244X-6-18

American Psychiatric Association (2013). Diagnostic and Statistical Manual of Mental Disorders, Fifth Edition. American Psychiatric Association. Arlington, VA.

Andersen, P. N., Hovik, K. T., Skogli, E. W. & Oie, M. G. (2017). Severity of autism symptoms and degree of attentional difficulties predicts emotional and behavioral problems in children with high-functioning autism; a two-year follow-up study. Frontiers in Psychology Vol 8 2017, ArtID 2004, 8. http://dx.doi.org/10.3389/fpsyg.2017.02004

Andersen, P. N., Skogli, E. W., Hovik, K. T., Egeland, J. & Oie, M. (2015). Associations among symptoms of autism, symptoms of depression and executive functions in children with high-functioning autism: A 2-year follow-up study. Journal of Autism and Developmental Disorders, 45(8), 2497-2507. http://dx.doi.org/10.1007/s10803-015-2415-8

Andersson, S., Posserud, M.-B. & Lundervold, A. J. (2013). Early and late auditory event-related potentials in cognitively high functioning male adolescents with autism spectrum disorder. Research in Autism Spectrum Disorders, 7(7), 815-823. http://dx.doi.org/10.1016/j.rasd.2013.03.007

Arildskov, T. W., Hojgaard, D. R. M. A., Skarphedinsson, G., Thomsen, P. H., Ivarsson, T., Weidle, B. et al. (2016). Subclinical autism spectrum symptoms in pediatric obsessive-compulsive disorder. European Child and Adolescent Psychiatry, 25(7), 711-723. http://dx.doi.org/10.1007/s00787-015-0782-5

Bjorgaas, H. M., Elgen, I., Ryland, H. K. & Hysing, M. (2014). Autism spectrum symptoms in children with cerebral palsy: Prevalence and co-occurring conditions. Research in Autism Spectrum Disorders, 8(5), 581-588. http://dx.doi.org/10.1016/j.rasd.2014.01.011

Brix, M. K., Ersland, L., Hugdahl, K., Gruner, R., Posserud, M. B., Hammar, A. et al. (2015). "Brain MR spectroscopy in autism spectrum disorder-The GABA excitatory/inhibitory imbalance theory revisited". Frontiers in Human Neuroscience, 9(JUNE) (no pagination)(365). http://dx.doi.org/10.3389/fnhum.2015.00365

Carlsson, E., Miniscalco, C., Gillberg, C. & Johnels, J. A. (2018). Assessing False-Belief understanding in children with autism using a computer application: A pilot study. Journal of Psycholinguistic Research, 47(5), 1085-1099. http://dx.doi.org/10.1007/s10936-018-9579-2

Cho, E., & Kim, S. (2015). Cronbach’s coefficient alpha: Well known but poorly understood. Organizational Research Methods, 18(2), 207-230. https://doi.org/10.1177/1094428114555994

Del Giudice, T., Dose, C., Görtz-Dorten, A., Steiner, J., Bruning, N., Bell, H., Roland, P., Walter, D., Junghänel, M., & Döpfner, M. (2021). Dimensions of Autistic Traits Rated by Parents of Children and Adolescents with Suspected Autism Spectrum Disorders. Journal of Autism and Developmental Disorders, 1-14. https://doi.org/10.1007/s10803-020-04850-4

De Los Reyes, A. (2011). Introduction to the special section: More than measurement error: Discovering meaning behind informant discrepancies in clinical assessments of children and adolescents. Journal of Clinical Child & Adolescent Psychology, 40(1), 1-9. https://doi.org/10.1080/15374416.2011.533405Ehlers, S. & Gillberg, C. (1993). The epidemiology of Asperger syndrome. A total population study. Journal of Child Psychology and Psychiatry, 34(8), 1327-1350. https://dx.doi.org/10.1111/j.1469-7610.1993.tb02094.x

Ehlers, S., Gillberg, C. & Wing, L. (1999). A screening questionnaire for Asperger syndrome and other high- functioning autism spectrum disorders in school age children. Journal of Autism and Developmental Disorders, 29(2), 129-141. http://dx.doi.org/10.1023/A:1023040610384

European Federation of Pscyhologists’ Association (EFPA). (2013). EFPA Review model for the description and evaluation of psychological tests: Test review form and notes for reviewers, v 4.2.6: EFPA.

Fevang, S. K. E., Hysing, M., Markestad, T. & Sommerfelt, K. (2016). Mental health in children born extremely preterm without severe neurodevelopmental disabilities. Pediatrics, 137(4), 1-11. https://doi.org/10.1542/peds.2015-3002

Goodman, R. (2001). Psychometric properties of the strengths and difficulties questionnaire. Journal of the American Academy of Child and Adolescent Psychiatry, 40(11), 1337-1345. https://dx.doi.org/10.1097/00004583-200111000-00015

Göteborgs Universitet (2023) ASSQ (Autism Spectrum Screening Questionnaire) Hentet 7.3.2023 https://www.gu.se/gnc/gncs-resurser/screeningformular-och-protokoll/assq-autism-spectrum-screening-questionnaire

Holgado-Tello, F. P., Chacon-Moscoso, S., Barbero-Garcia, I., & Vila-Abad, E. (2010). Polychoric versus Pearson correlations in exploratory and confirmatory factor analysis of ordinal variables. Quality & Quantity, 44, 153-166. https://dx.doi.org/10.1007/s11135-008-9190-y

Indredavik, M. S., Brubakk, A. M., Romundstad, P. & Vik, T. (2007). Prenatal smoking exposure and psychiatric symptoms in adolescence. Acta Paediatrica, 96(3), 377-382. http://dx.doi.org/10.1111/j.1651-2227.2006.00148.x

Indredavik, M. S., Vik, T., Evensen, K. A. I., Skranes, J., Taraldsen, G. & Brubakk, A. M. (2010). Perinatal risk and psychiatric outcome in adolescents born preterm with very low birth weight or term small for gestational age. Journal of Developmental and Behavioral Pediatrics, 31(4), 286-294. http://dx.doi.org/10.1097/DBP.0b013e3181d7b1d3

Indredavik, M. S., Vik, T., Heyerdahl, S., Kulseng, S., Fayers, P. & Brubakk, A. M. (2004). Psychiatric symptoms and disorders in adolescents with low birth weight. Archives of Disease in Childhood: Fetal and Neonatal Edition, 89(5), F445-F450. http://dx.doi.org/10.1136/adc.2003.038943

Ivarsson, T. & Melin, K. (2008). Autism spectrum traits in children and adolescents with obsessive-compulsive disorder (OCD). Journal of Anxiety Disorders, 22(6), 969-978. http://dx.doi.org/10.1016/j.janxdis.2007.10.003

Kaufman, J., Birmaher, B., Brent, D., Rao, U., Flynn, C., Moreci, P., Williamson, D., & Ryan, N. (1997). Schedule for Affective Disorders and Schizophrenia for School-Age Children-Present and Lifetime Version (K-SADS-PL): Initial reliability and validity data. Journal of the American Academy of Child and Adolescent Psychiatry, 36(7), 980–988. https://doi.org/10.1097/00004583-199707000-00021

Kopp, S., Beckung, E. & Gillberg, C. (2010). Developmental coordination disorder and other motor control problems in girls with autism spectrum disorder and/or attention-deficit/hyperactivity disorder. Research in Developmental Disabilities, 31(2), 350-361. http://dx.doi.org/10.1016/j.ridd.2009.09.017

Kopp, S., Berg Kelly, K. & Gillberg, C. (2010). Girls with social and/or attention deficits: A descriptive study of 100 clinic attenders. Journal of Attention Disorders, 14(2), 167-181. http://dx.doi.org/10.1177/1087054709332458

Kopp, S. & Gillberg, C. (2011). The Autism Spectrum Screening Questionnaire (ASSQ)-Revised Extended Version (ASSQ-REV): An instrument for better capturing the autism phenotype in girls? A preliminary study involving 191 clinical cases and community controls. Research in Developmental Disabilities, 32(6), 2875-2888. http://dx.doi.org/10.1016/j.ridd.2011.05.017

Mattila, M. L., Jussila, K., Kuusikko, S., Kielinen, M., Linna, S.L., Ebeling, H., … Moilanen, I. (2009). When does the Autism Spectrum Screening Questionnaire (ASSQ) predict autism spectrum disorders in primary school-aged children? European Child & Adolescent Psychiatry, 18(8), 499–509. https://doi.org/10.1007/s00787-009-0044-5

Matson, J. L., & Goldin, R. L. (2013). Comorbidity and autism: Trends, topics and future directions. Research in Autism Spectrum Disorders, 7(10), 1228-1233. https://doi.org/10.1016/j.rasd.2013.07.003

Mandy, W. P. L., & Skuse, D. H. (2008). Research Review: What is the association between the social-communication element of autism and repetitive interests, behaviours and activities? Journal of Child Psychology and Psychiatry and Allied Disciplines, 49(8), 795–808. https://doi.org/10.1111/j.1469-7610.2008.01911.x

Murray, A. L., McKenzie, K., Kuenssberg, R., & Booth, T. (2017). Do the autism spectrum quotient (AQ) and autism spectrum quotient short form (AQ-S) primarily reflect general ASD traits or specific ASD traits? A bi-factor analysis. Assessment, 24(4), 444-457. https://doi.org/10.1177/1073191115611230

Posserud, MB., Lundervold, A.J. & Gillberg, C. (2009). Validation of the Autism Spectrum Screening Questionnaire in a Total Population Sample. Journal of Autism and Developmental Disorders, 39, 126–134. https://doi.org/10.1007/s10803-008-0609-z

Posserud, M., Hysing, M., Helland, W., Gillberg, C. & Lundervold, A. J. (2018). Autism traits: The importance of "co-morbid" problems for impairment and contact with services. Data from the Bergen Child Study. Research in Developmental Disabilities, 72, 275-283. http://dx.doi.org/10.1016/j.ridd.2016.01.002

Posserud, M. B., Lundervold, A. J. & Gillberg, C. (2006). Autistic features in a total population of 7-9-year-old children assessed by the ASSQ (Autism Spectrum Screening Questionnaire). Journal of Child Psychology and Psychiatry and Allied Disciplines, 47(2), 167-175. http://dx.doi.org/10.1111/j.1469-7610.2005.01462.x

Posserud, M. B., Lundervold, A. J., Steijnen, M. C., Verhoeven, S., Stormark, K. M. & Gillberg, C. (2008). Factor analysis of the Autism Spectrum Screening Questionnaire. Autism, 12(1), 99-112. http://dx.doi.org/10.1177/1362361307085268

Reise, S. P., Bonifay, W. E., & Haviland, M. G. (2013). Scoring and modeling psychological measures in the presence of multidimensionality. Journal of Personality Assessment, 95(2), 129-140. https://dx.doi.org/10.1080/00223891.2012.725437

Ryland, H. K., Hysing, M., Posserud, M. B., Gillberg, C. & Lundervold, A. J. (2012). Autism spectrum symptoms in children with neurological disorders. Child and Adolescent Psychiatry and Mental Health, 6 (no pagination) (34). http://dx.doi.org/10.1186/1753-2000-6-34

Ryland, H. K., Hysing, M., Posserud, M. B., Gillberg, C. & Lundervold, A. J. (2014). Autistic features in school age children: IQ and gender effects in a population-based cohort. Research in Autism Spectrum Disorders, 8(3), 266-274. http://dx.doi.org/10.1016/j.rasd.2013.12.001

Sandtorv, L. B., Fevang, S. K. E., Nilsen, S. A., Boe, T., Gjestad, R., Haugland, S. et al. (2018). Symptoms Associated With Attention Deficit/Hyperactivity Disorder and Autism Spectrum Disorders in School-Aged Children Prenatally Exposed to Substances. Substance Abuse: Research and Treatment, 12(no pagination). http://dx.doi.org/10.1177/1178221818765773

Sivertsen, B., Posserud, M. B., Gillberg, C., Lundervold, A. J. & Hysing, M. (2012). Sleep problems in children with autism spectrum problems: A longitudinal population-based study. Autism, 16(2), 139-150. http://dx.doi.org/10.1177/1362361311404255

Skranes, J., Vangberg, T. R., Kulseng, S., Indredavik, M. S., Evensen, K. A. I., Martinussen, M. et al. (2007). Clinical findings and white matter abnormalities seen on diffusion tensor imaging in adolescents with very low birth weight. Brain, 130(3), 654-666. http://dx.doi.org/10.1093/brain/awm001

Slocum-Gori, S., & Zumbo, B. (2011). Assessing the unidimensionality of psychological scales: Using multiple criteria from factor analysis. Social Indicators Research, 102, 443– 461. https://dx.doi.org/10.1007/s11205-010-9682-8

Stormark, K. M., Heiervang, E., Heimann, M., Lundervold, A. & Gillberg, C. (2008). Predicting Nonresponse bias from teacher ratings of mental health problems in primary school children. Journal of Abnormal Child Psychology, 36(3), 411-419. http://dx.doi.org/10.1007/s10802-007-9187-3

Strauss, M. E. , &  Smith, G.T. (2009). Construct validity: Advances in theory and methodology. Annual Review of Clinical Psychology, 5, 1–25. https://doi.org/10.1146/annurev.clinpsy.032408.153639

Waterhouse L., London E. & Gillberg C. (2016) ASD validity. Review Journal of Autism and Developmental Disorders, 3(4):302–29. https://doi.org/10.1007/s40489-016-0085-x

Watkins, M. W. (2017). The reliability of multidimensional neuropsychological measures: From alpha to omega. The Clinical Neuropsychologist, 31(6-7), 1113-1126. https://doi.org/10.1080/13854046.2017.1317364

Wing, L., Leekam, S. R., Libby, S. J., Gould, J., & Larcombe, M. (2002). The Diagnostic Interview for Social and Communication Disorders: Background, inter-rater reliability and clinical use. Journal of Child Psychology and Psychiatry, and Allied Disciplines, 43(3), 307–325. https://doi.org/10.1111/1469-7610.00023

Åsberg, J., Kopp, S., Berg-Kelly, K. & Gillberg, C. (2010). Research report: Reading comprehension, word decoding and spelling in girls with Autism Spectrum Disorders (ASD) or Attention-Deficit/Hyperactivity Disorder (AD/HD): Performance and predictors. International Journal of Language & Communication Disorders, 45(1), 61-71. http://dx.doi.org/10.3109/13682820902745438