Måleegenskaper ved den norske versjonen av ADOS-2

Innledning

Autism Diagnostic Observation Schedule, Second Edition (ADOS-2) (Lord, et al., 2012) er et kartleggingsinstrument for å vurdere atferd ved Autismespekterforstyrrelser, ASF. ADOS-2 er utviklet i USA og England av Lord et al. og er en videreutvikling av ADOS-G (2000). ADOS-2 er revidert i henhold til kriteriene for autismespekterforstyrrelse (ASF) i DSM-5. Kriteriene i DSM-5 samsvarer ikke helt med kriteriene i ICD-10, det internasjonale systemet for klassifikasjon av sykdommer som i dag brukes i Norge. ICD kommer imidlertid ut med en ny revisjon i løpet av 2018 som en regner med vil følge de samme prinsipper som DSM. Kjernevanskene for autismeforstyrrelsene er ikke endret. ADOS-2 er oversatt til norsk av Synnve Schölberg, Kenneth Larsen og Niels Petter Thorkildsen i 2014. ADOS-2 har fem moduler tilpasset språknivå og/eller alder og kan brukes opp i voksen alder. I ADOS-2 er det utarbeidet nye algoritmer for modulene 1 – 3. Aktivitetene og kodene er de samme, men det er tydeligere og forbedrete retningslinjer for administrering og koding. Småbarnsmodulen er ny. Det er dessuten utarbeidet en sammenlikningsskår for alle moduler. ADOS-R er en tidligere betegnelse på ADOS-2. I internasjonal forskning og klinisk praksis er ADOS-2, brukt i kombinasjon med ADI-R, ansett for å være gullstandard for diagnostisering av ASF (Falkmer, Anderson, Falkmer, & Horlin, 2013).

ADOS-2 er en semistrukturert kartlegging, dvs. at den består av standardiserte aktiviteter og spørsmål som må tilpasses den som undersøkes. Man må ta hensyn til alder, språknivå og undersøkelses-situasjonen. Kartleggingen tar ca. 40 – 60 minutter å administrere. Oppgavene skal gi gode muligheter for å observere atferd som er relatert til en ASF-diagnose. Det er en konkret beskrivelse i manualen av sosiale «press» i hver oppgave som skal utløse sosialt samspill og sosial kommunikasjon. Rekkefølgen på oppgavene kan varieres for å få til et best mulig samspill og det er derfor viktig at den som administrerer ADOS-2 kjenner godt til hvilke oppgaver den inneholder og hvilke fenomener man er ute etter å få fram.

Modul velges ut fra alder og/eller språknivå. For barn som ikke snakker i setninger er småbarnsmodulen utviklet for barn i alderen 12 – 30 måneder, mens modul 1 er for barn eldre enn 31 måneder. Modul 2 er for personer i alle aldre som snakker i setninger, men ikke snakker flytende. Modul 3 og 4 krever flytende språk. Modul 3 har en blanding av interaktiv lek og samtale, mens modul 4 vesentlig består av samtale. Valg av modul vil være avhengig av livssituasjonen til den som undersøkes – for eksempel grad av selvstendighet eller ansvar for egen økonomi. Kriteriene for valg av modul er nøye beskrevet i manualen. En skal bare bruke én modul i utredningen. For å få en pålitelig skår må riktig modul velges. En kan skifte modul underveis hvis en får informasjon som tilsier at feil modul var valgt (for eksempel kan det vise seg at barnet snakker flytende og modul 3 skal administreres i stedet for modul 2). Det er imidlertid bare oppgaver som hører til den «riktige» modulen som skal skåres og brukes i algoritmen. Fordi modul velges ut fra språk er dokumentasjonen av språket viktig. Det er derfor ofte lurt å notere ned noen av utsagnene som brukes for å dokumentere språknivå.

De 5 modulene har fra 10 til 15 standardiserte oppgaver/spørsmål. For hver oppgave er følgende beskrevet:

1.Hensikten med oppgaven

2.Materiale som er nødvendig for å administrere oppgaven

3.Detaljert instruksjon for administrasjon av oppgaven

4.Spesielle merknader for administrering

5.Fokus for observasjonen

Før en bruker ADOS-2 må en ha god kjennskap til disse punktene. Noen av oppgavene går igjen i flere av modulene, men kan ha forskjellig instruksjon og også forskjellige regler for skåring ut fra modul, og det anbefales at en med jevne mellomrom repeterer disse punktene for å sikre riktig administrasjon og skåring. Det er også konkrete beskrivelser i manualen på hvordan en skal legge på økende grad av sosialt «press» for å få fram ønsket atferd.

Generelt gjelder følgende kodingsregler:

• ·         Kode 0: det foreligger ikke spesifiserte avvik som er beskrevet for oppgaven
• ·         Kode 1: Atferden er noe avvikende, men ikke helt tydelig som beskrevet for oppgaven
• ·         Kode 2: Det forekommer helt tydelig atferd forenlig med spesifiseringen
• ·         Kode 3: Atferden er markert avvikende som beskrevet og så avvikende at kvaliteten i atferden er vanskelig å beskrive
• ·         Kode 7: Annen avvikende atferd enn den som er spesifisert for oppgaven
• ·         Kode 8: Når vurderingen ikke er gyldig, for eksempel når språkkvaliteter skal vurderes hos en person uten språk
• ·         Kode 9: Når vurderingen ikke kan gjøres fordi oppgaven ikke ble administrert eller ble administrert feil

En må merke seg ved beskrivelsen av oppgaven om det er hyppigheten eller kvaliteten av den beskrevne atferden som skal kodes. Videre er det nøye beskrevet for noen koder at ett tydelig eksempel er nok til å kode 0. Noen koder skal settes ut fra atferden i en bestemt oppgave. Dette gjelder for eksempel «reaksjon på navn» i småbarns-modulen, modulene 1 og 2. Ett og samme aspekt av atferd skal i prinsippet kun kodes som avvikende én gang for å unngå «dobbelt-koding». En atferd kan imidlertid inneholde forskjellige aspekter som skal kodes under forskjellige kodeledd.

Skåring:

Atferden som observeres skal skåres umiddelbart etter gjennomføring. Den som er i samspill med barnet bør være ansvarlig for skåringen, men en kan selvfølgelig få bistand fra en medarbeider som har observert undersøkelsen. Hvilke oppgaver som skal kodes og reglene for kodingen framkommer av protokollen og er forskjellig ut fra alder og språknivå. Skårene varierer fra 0 til 2.

ADOS-klassifisering:

Den reviderte ADOS-2 har nye algoritmer for klassifisering av kodene som er plukket ut for å gi best mulig sensitivitet og spesifisitet for diagnoser i autismespekteret. Algoritmene finnes på slutten av protokolldelen for hver enkelt modul og tar hensyn til kronologisk alder og/ eller språknivå og en får en «ADOS-klassifisering»: autisme, autismespekter eller ikke-spekter. Algoritmene gir en «ADOS-klassifisering», men er IKKE tilstrekkelig informasjon til en diagnose.  En bør i en rapport referere noen hovedtrekk fra undersøkelsen som beskriver hvorfor en har valgt aktuelle koder. Resultatene fra ADOS-2, «ADOS-klassifiseringen», MÅ ses i sammenheng med annen klinisk informasjon samt andre tester før en konkluderer med en diagnose. En bør derfor i en oppsummerende rapport-/konklusjon drøfte hvordan ADOS-undersøkelsen er vurdert relatert til annen informasjon om den som undersøkes. I algoritmen for småbarnsmodulen beregnes «nivå av bekymring», ikke en diagnostisk klassifisering, for å tydeliggjøre den diagnostiske usikkerheten som karakteriserer kliniske observasjoner av små barn. Variasjoner i typisk utvikling samt andre utviklingsforstyrrelser som generelt forsinket utvikling eller språk kan bidra til denne usikkerheten. 

Sammenlikningsskåre:

I tillegg til ADOS-klassifiseringen er det i ADOS-2 gitt muligheter for å lage en sammenlikningsskår som angir nivå på symptomer relatert til autismespekteret observert ved undersøkelsen. Denne skåren muliggjør sammenlikning på tvers av utviklingstrinn og språkfunksjon og kan brukes hos samme pasient på forskjellige tidspunkt for å vurdere utvikling/ effekt av behandling. Den gir ikke et helhetlig mål på alvorlighetsgraden av autisme. Foreløpig forskning tilsier at sammenlikningsskåren er relativt stabil over tid, men mer longitudinelle data er nødvendige.

Metode

Vi søkte etter dokumentasjon på psykometriske egenskaper i databasene: PsycINFO, Medline, Embase, Cochrane Library, Oria (BIBSYS), Norart, SveMed+, PubMed, CRIStin.no, NORA.no, Forskningsdatabasen.dk og Swepub. Søkedato: 28.11.2016. Søkestrategien er tilgjengelig på http://www.psyktestbarn.no/CMS/ptb.nsf/pages/ados-autism-diagnostic-observation-schedule.    Vi kontaktet også førsteforfattere av inkluderte artikler, samt oversetterne av ADOS-2, for å identifisere dokumentasjon som eventuelt ikke ble fanget opp av det systematiske søket.

Vi inkluderte alle publikasjoner av studier som har undersøkt og rapportert minst ett av følgende i skandinaviske utvalg:

• normdata for testen
• reliabilitet: indre konsistens, test-retest, inter-rater og endringssensitivitet
• validitet: samsvar med liknende testskårer, samsvar med referansestandard eller annet kriterium, og/eller faktorstruktur

I tillegg, og kun for norske versjoner av ADOS-2, inkluderte vi publikasjoner som rapporterte gjennomsnittsskårer og/eller forekomster for henholdsvis generelle populasjoner og kliniske undergrupper.

To forskere gikk gjennom sammendragene til alle identifiserte publikasjoner, uavhengig av hverandre, etter at dubletter var fjernet. Alle publikasjoner som kunne virke relevante ble bestilt inn i fulltekst, og prosessen over ble gjentatt for fulltekstrapportene.

To forskere vurderte normering, validitet og reliabilitet, uavhengig av hverandre, ved hjelp av en tilpasset versjon av Test Review Form and Notes for Reviewers (European Federation of Psychologists' Associations, 2013).

Resultater

Litteratursøk

Litteratursøket resulterte i 67 referanser fra det norske søket og 129 treff for det danske/svenske søket. I tillegg ble en norsk artikkel av Karoline Alexandra Havdahl identifisert gjennom kontakt med Eric Zander. Etter gjennomgang av 68 abstrakter fra det norske søket ble 10 vurdert i fulltekst. Tilsvarende ble 129 abstrakter fra det danske/svenske søket gjennomgått, hvorav 16 ble vurdert i fulltekst.

Inkluderte studier

Fire studier ble inkludert; den norske studien Havdahl et al. (2017), og tre svenske studier, Andersson, Gillberg og Miniscalco (2013), Zander et al. (2016), Zander, Sturm og Bölte (2015) (Tabell 1). Flesteparten av de 22 artiklene som ble ekskludert etter å ha blitt vurdert i fulltekst manglet relevante data knyttet til normdata, reliabilitet og validitet, mens et fåtall manglet data fra skandinaviske utvalg.
 

Tabell 1. Inkluderte studier

Normer

Det er ikke funnet publikasjoner som beskriver norske, svenske eller danske normer for ADOS eller ADOS-2.

Validitet

Havdahl et al. (2017) har beskrevet både kriterie- og begrepsvaliditeten til den norske versjonen av ADOS-2. Når det gjelder kriterievaliditet i form av cut-off skår for ASF ble det rapportert spesifisitet, dvs. evne til å generere sanne negative resultater for barn uten ASF, til ADOS-2 = 96% for et befolkningsutvalg av barn uten noen diagnose. For barn med ASF eller annen diagnose, ble det rapportert sensitivitet, dvs. evne til å generere sanne positive resultater for barn med ASF, 89% (85–100% i de ulike språknivåene) og spesifisitet 83% (71-87% i de ulike språknivåene). Positive likelihood ratio (LR+) ble rapportert til 5 (3–7) og negative likelihood ratio (LR-) ble rapportert til .13 (<.01–.21) i de ulike språknivåene. LR+ og LR- oppsummerer den diagnostiske presisjonen, basert på sensitivitet og spesifisitet, og gir informasjon om hvordan et positivt, respektive negativt, screening-resultat endrer sannsynligheten for at et individ faktisk har ASD. Bruk av ADOS-2 kombinert med ADI-R endret spesifisitet til 97% (95–100% i de ulike språknivåene) og sensitivitet til 59% (49–73% i de ulike språknivåene). Tilsvarende ble LR+ endret til 20 (14–n.a) og LR- til .42 (.27–.53).

Det er også beskrevet begrepsvaliditet i form av samsvar med ADI-R. Korrelasjon, dvs. grad av samsvar, mellom ADOS-2 og ADI-R ble oppgitt til r = .63, dvs. tilfredsstillende. ROC-analyse viste at den dimensjonale skalaen i ADOS-2 differensierte godt mellom barn med og uten ASF, AUC = .95 (95% CI = .92–.97). ADI-R og ADOS-2 skår bidro selvstendig til prediksjon av ASF-diagnose i logistisk regresjon (ADOS OR = 1.96, P<.001). Sensitivitet og spesifisitet for ADOS-2 var lik for barn med og uten foreldrebekymring for ASF.

Kriterievaliditeten til den svenske versjonen er beskrevet av Zander et al. (2015) og Andersson et al. (2013). Zander et al. (2015) rapporterte validitet for autisme-respektive autismespekter (ASF) cut-off fra et klinisk utvalg barn i alder 18–47 måneder (n = 268) målt opp mot en klinisk konsensusdiagnose. Sensitivitet for ASF cut-off ble rapportert 94–100% og spesifisitet 52–76%. Korrekt klassifisering varierte mellom 80–88%, LR+ ble rapportert til 2.1–3.9. For autisme cut-off ble det rapportert sensitivitet 81–94% og spesifisitet 81-83%. Korrekt klassifisering ble rapportert til 82–88% og LR+ til 4.4–5.4. Overensstemmelse mellom ADOS modul 1 ingen ord og klinisk diagnose ble rapportert til kappa= .60 (ASF cut-off) og kappa= .57 (autisme cut-off). Overensstemmelse mellom ADOS modul 1 noen ord og klinisk diagnose ble rapportert til kappa= .72 (ASF cut-off) og kappa= .60 (autisme cut-off). Overensstemmelse mellom ADOS modul 2 og klinisk diagnose ble rapportert til kappa= .62 (ASF cut-off) og kappa= .75 (autisme cut-off).

Bruk av forskjellige kombinasjoner av ADOS og ADI-R cut-off ga høyere spesifisitet, dvs. evne til å generere sanne negative resultater for barn uten diagnose, 88–100%, og lavere sensitivitet, dvs. evne til å generere sanne positive resultater for barn med diagnose, 34–64%, for alle utviklingsgrupper. Korrekt klassifisering varierte mellom 57–73%. LR+ ble rapportert til 5.1–14.4. Andersson et al. (2013) har rapportert ADOS/ADOS-R diagnoser sammen-lignet med kliniske konsensusdiagnoser (n = 40). De kliniske konsensusdiagnosene resulterte i autisme=20, ASF=15, Aspergers syndrom=2, autistiske trekk=3. ADOS-diagnoser var autisme=18, ASF=9 og ikke ASF=13. ADOS-R diagnoser var autisme=17, ASF=9 og ikke ASF=14. Det ble også rapportert samsvar mellom ADOS og ADOS-R diagnose (.84 p<.0001 (jenter) og .76 p<.0001 (gutter)). I tillegg ble det rapportert samsvar mellom ADOS/ADOS-R og andre typer utredningsverktøy (alvorlighetsskår, Griffiths’ utviklingstest, Vineland Adaptive Behavior Scales, Receptive Developmental Language Scale, Children’s Global Assessment Scale (CGAS)).

Det er ikke funnet noen danske publikasjoner som har belyst validitet til ADOS-2.

Reliabilitet

Det er ikke funnet norske eller danske publikasjoner som har beskrevet indre konsistens, test-retest reliabilitet, endringssensitivitet og/eller interrater-reliabilitet.

Det er funnet én svensk publikasjon som beskriver interraterreliabilitet (Zander, et al., 2016). Det ble målt interraterreliabilitet mellom 15 ADOS-brukere med klinisk trening, i en naturalistisk setting på kryss av 13 ulike kliniske miljøer. Totalt 40 videoopptak av administrering av ADOS-2 modul 1-4 ble skåret av fem ulike klinikere. Resultatene ble rapportert som G(q,k) koeffisienter, Fleiss’- og Cohen’s kappa og prosentvis overensstemmelse (PA).

Median interraterreliabilitet for de fire modulene var G(q,k) = .74–.83, dvs. god til utmerket, med en variasjon i enkelte item fra .23 til .92. For totalskårer var tilsvarende resultater utmerket, G(q,k) = .85-.92, med en variasjon i enkelte skaler/moduler fra .45 til .92.

Interraterreliabilitet for diagnostisk klassifikasjon (ASF/ikke ASF) ble rapportert total PA=74.5 med variasjon fra 64 til 82 for de fire modulene. Størst uoverensstemmelse var det for PDD-NOS og ADHD. Med disse ekskludert ble PA=86. Tilsvarende resultater beregnet med Fleiss’- respektive Cohen’s kappa var Fleiss’ kappa=.38 (.19–.55), og med PDD-NOS og ADHD ekskludert .45, dvs. utilfredsstillende. Cohen’s kappa=.69 (.61–.76), og med PDD-NOS og ADHD ekskludert .75, dvs. tilfredsstillende til god.
 

Diskusjon og konklusjon

Det ble identifisert et begrenset dokumentasjons-grunnlag for de psykometriske egenskapene ved den norske versjonen av ADOS-2. Det er kun én norsk studie som dokumenterer validiteten til den ADOS-2 og ingen norsk studie som dokumenterer reliabilitet eller beskriver norske normer. Det er i tillegg funnet to svenske studier som dokumenterer validiteten og en svensk studie som beskriver reliabilitet. I den begrensete, foreliggende dokumentasjonen er det støtte for god interraterreliabilitet og både den norske og de svenske studiene underbygger validiteten til kartleggingsinstrumentet. Det er også antydet en ytterligere styrking av validiteten ved samtidig bruk med ADI-R, men det ligger utenfor denne artikkelens tema.

Modulene til småbarn og opp t.o.m. modul 2 er stort sett basert på lekeaktiviteter tilpasset førskolebarn og er derfor ikke så godt egnet for ungdom og voksne med lite språk. En kan bruke materiale fra modul 3 inn i modul 1/2 for å gjøre det mer tilpasset aldersnivået til den som testes. Det arbeides med å utvikle en modul tilpasset personer med utviklingshemming, Adapted ADOS (Hus, et al., 2011)

De kliniske implikasjonene av den begrensete dokumentasjonen av kartleggingsinstrumentets psykometriske egenskaper bør være å bruke ADOS-2 med en viss forsiktighet. I tillegg må resultatene sees i sammenheng med annen klinisk informasjon, samt andre tester, før en konkluderer i forhold til diagnose i autismespekteret, slik manualen anbefaler.