Innledning
The Children’s Communication Checklist-Second Edition (CCC-2; Bishop, 2003) (Norsk versjon; Bishop, 2011) er den siste versjonen av en sjekkliste som har vært under utvikling i Storbritannia over flere år. Hensikten med sjekklisten er å kartlegge muntlig og pragmatisk språk hos barn. Norsk og internasjonal rettighetshaver er Pearson Assessment. CCC-2 er ikke et diagnostisk verktøy, men et kartleggingsverktøy med formål å fange opp barn med språkvansker som bør henvises til en grundigere språkutredning. Videre å bidra til å identifisere barn som bør utredes for autismespekterforstyrrelser (ASD). Instrumentet gir informasjon om hvordan barnet bruker språket sitt i hverdagen, og fanger opp sider ved språket som ikke alltid lar seg vurdere i en standardisert testsituasjon. CCC-2 kan dermed supplere andre tester og observasjoner, samt bidra til å skille mellom ulike typer språk- og kommunikasjonsvansker, noe som kan være nyttig i differensialdiagnostisk sammenheng (Bishop, 2011).
CCC-2 består av en sjekkliste og en manual som er oversatt til norsk og tilpasset norske forhold. Selve sjekklisten finnes både på bokmål og nynorsk. Oversettelsen er utført av Wenche Andersen Helland og Lillian Hollund-Møllerhaug, og ble ferdigstilt i 2011. En totrinns oversettelsesprosedyre ble benyttet, og er nærmere beskrevet i W. A. Helland, Biringer, Helland, and Heimann (2009) og den norske manualen (Bishop, 2011). Både lingvister, logopeder og psykolog med spesialitet i nevropsykologi deltok i arbeidet for å sikre kvaliteten på oversettelsen, som også ble vurdert av originalforfatteren. Den norske versjonen av CCC-2 kan sammen med norsk manual kjøpes på Pearsons nettside (https://www.pearsonclinical.no/produkter/sprak-motorikk/ccc-2). Den norske manualen bruker betegnelsen språkvansker. En nylig gjennomført konsensusstudie har anbefalt at betegnelsen utviklingsmessig språkforstyrrelse brukes om vedvarende vansker med språket som har en betydelig innvirkning på muligheter til læring og sosial deltagelse, uten at språkforstyrrelsen er en del av en kjent biomedisinsk tilstand (Kristoffersen, et al., 2021). Dette samsvarer med tilsvarende engelskspråklig terminologi (developmental language disorder (DLD; Bishop, Snowling, Thompson, & Greenhalgh, 2017)), og erstatter det tidligere begrepet spesifikke språkvansker (SSV), som også brukes i manualen. I tråd med dette vil vi benytte begrepet språkforstyrrelse/utviklingsmessig språkforstyrrelse når det er konkludert med at det foreligger vansker som tidligere ble kalt SSV. I andre tilfeller bruker vi språkvansker eller mulig språkforstyrrelse. Barn med språkvansker som ikke oppfyller kriteriene for en språkforstyrrelse vil likevel kunne ha behov for oppfølging (Kristoffersen, et al., 2021). Sjekklisten består av 70 utsagn som beskriver et barns kommunikasjon og språkrelaterte atferd. Svarformatet er en firepunktsskala, der respondenten skal vurdere hvor ofte atferden som beskrives er observert hos det aktuelle barnet. CCC-2 fylles ut på 5–15 minutter av en voksen som har god kjennskap til barnet som språkbruker i ulike situasjoner over tid, som regel foreldre. Lærere eller andre fagpersoner med god kjennskap til barnet kan også benyttes som respondenter. Respondenten bør få instruksjon fra en fagperson som er kjent med instrumentet. Tolkning av og tilbakemelding på CCC-2 resultater krever spesialkompetanse innen språkområdet. Rettighetshaver beskriver følgende kompetansekrav til innkjøp av CCC-2: autorisert psykolog, masterprogrammet i spesialpedagogikk og masterprogrammet i pedagogikk med studieretning pedagogisk-psykologisk rådgivning fra UiO, spesialpedagog, logoped. For brukere som ikke oppfyller kompetansekravene er det mulig å søke om individuell registrering som testinnkjøper.
Utsagnene i sjekklisten er fordelt på ti skalaer med sju utsagn tilknyttet hver skala. Fem utsagn beskriver vansker og to utsagn beskriver styrker for hver skala. Skalaene (A-J) måler til sammen tre sider av barnets kommunikasjon: Strukturelle språkferdigheter (A: Tale, B: Syntaks, C: Semantikk, D: Sammenheng), Pragmatiske språkferdigheter (E: Samtaleinitiativ, F: Stereotypisk språk, G: Bruk av kontekst og H: Ikke-verbal kommunikasjon), og Generell sosial fungering (I: Sosiale relasjoner og J: Interesser). Strukturelle språkferdigheter er ofte svekket hos barn med utviklingsmessig språkforstyrrelse mens pragmatiske språkvansker kan ses både hos barn som har vansker med de strukturelle sidene av språket, hos barn med ASD, eller som en isolert vanske. Skala I og J omhandler sosiale aspekter som vanligvis er påvirket hos barn med ASD.
CCC-2 resultatene skåres for hånd, eller i et databasert skåringsprogram som kan lastes ned på forhandlerens hjemmeside uten kostnad. Forhandler tilbyr også et eget manualsupplement til hjelp ved tolkningen av testresultatene. En samsvarssjekk indikerer om svarmønsteret er konsekvent og dermed gir et valid bilde av barnets språkferdigheter. Råskårer konverteres til alderskorrigerte skalerte skårer og ekvivalent persentil for hver skala, som muliggjør sammenligning av barnets resultat med jevnaldrende. Ved tolkning av CCC-2 resultater må det tas hensyn til skåremønsteret på tvers av skalaene. To indeks-skårer inngår også i resultatsammenstillingen: Generell kommunikasjonsindeks (GKI) er et mål på generell språklig fungering basert på summen av skalerte skårer på skalaene A-H. Indeks for avvik i sosial interaksjon (IASI) er en differanseskåre, som beregnes ved å trekke fra summen (skalerte skårer) av skala A, B, C, D fra summen av skala E, H, I, J. Den er utviklet for å differensiere mellom barn som i hovedsak har strukturelle språkvansker (vil oftest ha positiv IASI-skår), og barn der de pragmatiske aspektene ved kommunikasjonen er relativt svekket sammenlignet med de strukturelle språkferdighetene (vil ha negativ IASI-skår), noe som er karakteristisk for autismespekterforstyrrelser og pragmatiske språkvansker (Bishop, 2011). En GKI skår < 55 kan ifølge manualen indikere språkvansker innenfor det kliniske området (Bishop, 2011). IASI tolkes vanligvis bare dersom barnet har GKI < 55. Et unntak er en svært lav IASI verdi (-15 eller lavere), som kan tyde på en autismespekterforstyrrelse, selv om GKI er innenfor normalområdet (Bishop, 2011).
I CCC-2, som er en revisjon av forgjengeren CCC, er testledd omformulert, omgruppert og svarformat endret (Bishop, 2011). Videre er enkelte av skalaene endret for at de skal ligne hverandre i oppbygging. Den pragmatiske sammensatte skåren basert på fem skalaer (tilsvarende D-H) i den opprinnelige CCC er i CCC-2 erstattet av indeks-skårene GKI og IASI. Ettersom de psykometriske egenskapene for CCC og CCC-2 ikke er direkte sammenlignbare har vi i denne artikkelen valgt å sette søkelys på egenskapene ved den siste versjonen. Vi har kun inkludert studier som har brukt hele instrumentet, og ikke bare deler av sjekklisten. Den norske versjonen av CCC-2 er standardisert med norske normer som er basert på 731 norske barn i aldersintervallet 4:0–16:11 år, med norsk som hovedspråk hjemme og med foreldre som informant. Sjekklisten egner seg ikke for barn med sterkt nedsatt hørsel, som ennå ikke kan snakke, eller som kun snakker i ytringer på ett eller to ord, noe som kartlegges innledningsvis i skjemaet. Den norske manualen (Bishop, 2011) inneholder utfyllende informasjon om utviklingen av CCC-2, tolkning av CCC-2 skårer, den norske standardiseringen og konstruksjonen av de norske normene, samt psykometriske data. Resultater fra den britiske normgruppen har vist tilfredsstillende intern konsistens med Cronbach’s alfa på minst 0,65 for alle skalaer (Bishop, 2003). Videre har britiske valideringsstudier vist at GKI <55 (svarende til 10. persentil) differensierer godt mellom kliniske grupper med språk- og kommunikasjonsvansker og kontrollgruppe (Bishop, 2003; Norbury, Nash, Baird, & Bishop, 2004). Det sammensatte målet IASI har god inter-rater reliabilitet, og ser ut til å være sensitivt når det gjelder å fange opp barn med ASD (Norbury, et al., 2004). Oi, et al. (2017) har undersøkt distribusjonen av CCC-2 skårer for den japanske versjonen i (1) et normutvalg fra den generelle populasjonen (N = 22 871) av barn i alderen 3–15 år, (2) barn med ASD (n = 48, 3–9 år), (3) barn med språkvansker (n = 30, 6–12 år), og (4) en gruppe barn med normalutvikling (n = 64, 3–10 år). Funn fra prinsipiell komponent analyse (PCA) av utvalgene 2–4 ovenfor (N = 142) viste en enkel-faktor løsning for GKI og subskalaene A-H. En-faktor modellen ble deretter bekreftet ved hjelp av konfirmatorisk faktoranalyse (CFA) i normutvalget (utvalg 1 ovenfor) (Oi, et al., 2017). Selv om begge de kliniske gruppene (utvalgene 2 og 3) hadde signifikant lavere GKI skårer enn gruppen barn med normalutvikling (utvalg 4) viste distribusjonen av skårer en betydelig overlapp mellom klinisk (utvalg 2 og 3) og generell befolkning (utvalg 1). En tilsvarende overlapp mellom de kliniske utvalg og den generelle befolkningen ble funnet for IASI skåren, selv om barn med ASD skåret signifikant lavere enn barn med språkvansker (utvalg 3) og barn med normalutvikling (utvalg 4). Dette betyr at en ikke fant en «naturlig cut-off» mellom klinisk og generell populasjon.
Metode
Bibliotekarer Mari Elvsåshagen og Sølvi Biedilæ ved Regionsenter for barn og unges psykiske helse, helseregion Øst og Sør, søkte etter dokumentasjon på testens psykometriske egenskaper i databasene, PsycINFO, Medline, Embase, Cochrane Library, Oria (BIBSYS), Norart, SveMed+, CRIStin.no, NORA.no og Swepub. Søkedato: 21.01.2021. Søkestrategien er tilgjengelig på https://psyktestbarn.r-bup.no/no/artikler/ccc-2-the-childrens-communication-checklist-second-edition
Vi inkluderte alle publikasjoner av studier som har undersøkt og rapportert minst ett av følgende i skandinaviske utvalg:
- normdata for testen
- reliabilitet: indre konsistens, test-retest, inter-rater og endringssensitivitet
- validitet: samsvar med liknende testskårer, samsvar med referansestandard eller annet kriterium, og/eller faktorstruktur
I tillegg, og kun for den norske versjonen av CCC-2, inkluderte vi publikasjoner som rapporterte gjennomsnittsskårer og/eller forekomster for henholdsvis generelle populasjoner og kliniske undergrupper.
Etter fjerning av dubletter gikk alle tre forfatterne gjennom alle identifiserte publikasjoners sammendrag. Forfatterne foretok vurderingene uavhengig av hverandre. Alle publikasjoner som kunne virke relevante ble bestilt inn i fulltekst, og vurderingsprosessen ble gjentatt for disse.
Alle tre forfatterne vurderte normering, validitet og reliabilitet ved hjelp av en tilpasset versjon av Test review form and notes for reviewers (EFPA 2013). Forfatterne foretok vurderingene uavhengig av hverandre.
Resultater
Litteratursøk
Søket resulterte i 196 treff, med 75 norske og 121 danske eller svenske referanser. Basert på personlig kjennskap inkluderte vi i tillegg til det systematiske søket en norsk studie (Reindal, et al., 2021) som ble publisert like etter at søket var gjennomført, og som ble vurdert til å fylle inklusjonskriteriene. Etter fjerning av duplikater og gjennomgang av tittel og sammendrag ble det totale antallet redusert til 31 referanser (25 norske og seks danske/svenske), som ble vurdert i fulltekst. Etter fulltekstgjennomgang ble 20 artikler ekskludert på grunn av at de ikke omhandlet måleegenskaper av CCC-2 i skandinaviske utvalg (se Figur 1 for en oversikt). Totalt elleve publikasjoner oppfylte inklusjonskriteriene (alle norske), hvorav fire som inngår i den norske standardiseringen av CCC-2. To er fra samme utvalg, men har undersøkt ulike psykometriske egenskaper ved den norske versjonen av CCC-2 (Hollund-Møllerhaug, 2010a, 2010b). Se tabell 1 for inkluderte studier.
Tabell 1. Inkluderte studier
Referanse |
Design |
Populasjon |
N |
Mål |
Rapporterte egenskaper, verdier |
W. A. Helland, et al. (2009) |
Tverrsnittstudie |
Barn 6–12 år, normalgruppe* og barn henvist PPT/logoped med språkforstyrrelse. |
153 |
GKI, IASI, enkeltskalaer |
Middelverdier og standardavvik (råskårer for enkeltskalaer). Kjønnsforskjeller (GKI). Forekomst av språkvansker og sensitivitet/spesifisitet (for GKI<55 versus <65). Intern konsistens, inter-rater reliabilitet. |
W. A. Helland, Biringer, Helland, and Heimann (2012) |
Tverrsnittstudie |
Barn 6–15 år, normalgruppe* og to kliniske grupper (fra BUP/PPT/foreldregruppe med ADHD eller Asperger syndrom). |
77 |
GKI, IASI, enkeltskalaer |
Middelverdier og standardavvik (råskårer for enkeltskalaer). Forekomst av språkvansker (GKI<65). |
W. A. Helland, Helland, and Heimann (2014) |
Tverrsnittstudie |
Barn 6–12 år, normalgruppe* og to kliniske grupper (fra BUP/PPT/foreldregruppe med språkforstyrrelse eller ADHD). |
59 |
GKI, IASI, enkeltskalaer |
Middelverdier og standardavvik for enkeltskalaer (råskårer). Forekomst av språkvansker (GKI<65). |
W. A. Helland, Lundervold, Heimann, and Posserud (2014) |
Longitudinell observasjonsstudie |
Barn med atferdsvansker undersøkt ved 7–9 år (T1) og 12–15 år (T2) og normalgruppe* til sammenligning ved T2. |
77 |
GKI, enkeltskalaer (ved T2) |
Middelverdier og standardavvik (skalerte skårer). Forekomst av språkvansker (GKI<65). Konvergent validitet (samsvar med sammensatt mål på språkvansker ved T1). |
T. Helland, Jones, and Helland (2017) |
Tverrsnittstudie |
Barn 5 år i barnehage, med og uten identifisert risiko for språkvansker og dysleksi (på et eller flere av tre verktøy, inkludert CCC-2) |
79 |
GKI |
Middelverdi og standardavvik. Forekomst av språkvansker (GKI<55). Konvergent validitet (med TRAS). |
Hollund-Møllerhaug (2010a) |
Kohortstudie |
Barn 6–10 år, normalgruppe |
655 |
GKI og ekvivalent persentil |
Normer. Sammenligning av GKI skårenes persentilfordeling med britiske normer. |
Hollund-Møllerhaug (2010b) |
Kohortstudie |
Barn 6–10 år, normalgruppe |
655 |
GKI, IASI |
Forekomst av språkvansker (GKI<55) og undergrupper av språkvansker. Samsvar med ICD-10 kriterier. |
Reindal, et al. (2021) |
Tverrsnittstudie |
Barn 4–18 år utredet for mistenkt autisme av spesialisthelsetjenesten. To kliniske grupper (barn med ASD-diagnose, og barn som ikke er vurdert å fylle diagnosekriterier (non-ASD)). |
177 |
GKI, enkeltskalaer |
Middelverdier og standardavvik (skalerte skårer, råskårer tilgjengelig for enkeltskalaer i appendiks). Forekomst av språkvansker (GKI<55 og ≤5.persentil enkeltskalaer). Kjønnsforskjeller (hele utvalget). |
Selas and Helland (2016) |
Tverrsnittstudie |
Barn 6–15 år med Noonan syndrom og normalgruppe* til sammenligning (matchet på kjønn og alder). |
34 |
GKI, IASI, enkeltskalaer |
Middelverdier og standardavvik (skalerte skårer). Forekomst av språkvansker (GKI<55). |
Skirbekk (2012) |
Tverrsnittstudie |
Barn 7–13 år, ikke henvist kontrollgruppe og tre kliniske grupper (barn henvist BUP med angstlidelser, ADHD, komorbid angst og ADHD). |
141 |
Informasjon om GKI og enkeltskalaer ikke tilgjengelig. |
Intern konsistens. |
Smith, Næss, and Jarrold (2017) |
Tverrsnittstudie |
Barn 6 år med Downs syndrom. |
29 |
Enkeltskalaer. |
Middelverdier og standardavvik for enkeltskalaer. Korrelasjon mellom pragmatiske subskalaer og andre mål på ordforråd, nonverbale kognitive ferdigheter og sosial fungering (konvergent validitet). |
Note: * normalgruppene kommer delvis fra samme utvalg (som også utgjør deler av normgruppen).
Middelverdier og forekomster i kliniske undergrupper
Seks norske studier med rapporterte middelverdier og standardavvik for indeks-skårer (GKI, IASI) ble identifisert. Data for indeks-skårene er sammenstilt i Tabell 2a. For syv norske studier var det også rapportert middelverdier og standardavvik for hver av enkeltskalaene (A-J). Disse dataene er oppsummert i Tabell 2b, som sammenstiller rapporterte middelverdier for de ulike enkeltskalaene i ulike kliniske grupper med normalgruppe (generell befolkning) eller annen klinisk gruppe. Merk at noen studier rapporterer råskårer for enkeltskalaene, mens andre rapporterer skalerte skårer. For råskårer representerer en høy skår svekkede språkferdigheter, mens en høy skalert skår representerer språklig styrke.
De fleste av studiene omfatter barn i skolealder. Reindal, et al. (2021) er den eneste studien som har inkludert barn yngre enn 5 og eldre enn 15 år, mens studien av T. Helland, et al. (2017) omfatter barnehagebarn. Åtte av utvalgene inkluderer normal- eller ikke henvist kontrollgruppe, hvorav flere kommer fra samme utvalg som ble benyttet i den norske standardiseringen. Ni studier rapporterer data for ulike kliniske undergrupper, som representerer barn som har vært i kontakt med logoped, Pedagogisk-Psykologisk Tjeneste (PPT) og spesialisthelsetjenesten. To av studiene omhandlet relativt små utvalg med spesifikke syndromer.
Mens det ble funnet lavere generell kommunikasjonsindeks (GKI) sammenlignet med normalgruppe for de fleste kliniske gruppene (W. A. Helland, et al., 2009, 2012; W. A. Helland, Helland, et al., 2014; W. A. Helland, Lundervold, et al., 2014; Selas & Helland, 2016), er det ikke rapportert statistisk signifikante forskjeller i GKI mellom kliniske grupper i studier som har undersøkt dette (W. A. Helland, et al., 2012; Reindal, et al., 2021). Når det gjelder indeks for avvik i sosial interaksjon (IASI) fant W. A. Helland, et al. (2012) at barn med Asperger syndrom skåret signifikant lavere sammenlignet med kontrollgruppen på denne indeks-skåren. Reindal, et al. (2021) rapporterer ikke IASI, men resultatene tyder på at noen av enkeltskalaene differensierer mellom barn med ASD (inkludert Asperger syndrom) og barn med symptomer som ikke er vurdert å fylle kriteriene for en slik diagnose. Andre studier rapporterer også signifikante forskjeller på enkeltskalaer når kliniske utvalg sammenlignes med en normalgruppe (W. A. Helland, et al., 2009; W. A. Helland, Helland, et al., 2014; W. A. Helland, Lundervold, et al., 2014; Selas & Helland, 2016), eller med andre kliniske grupper (W. A. Helland, et al., 2012; W. A. Helland, Helland, et al., 2014). Flere av disse studiene omhandler imidlertid relativt små utvalg. To studier har undersøkt mulige kjønnsforskjeller, uten funn av signifikant forskjell i GKI skår mellom gutter og jenter i normalgruppe (W. A. Helland, et al., 2009) eller blant barn utredet for autisme (Reindal, et al., 2021). I begge studiene var det flere gutter enn jenter som deltok.
Flere studier rapporterer forekomst av språkvansker i normalgruppe og/eller kliniske utvalg, basert på skåre under valgt terskelverdi (cut-off). Hollund-Møllerhaug (2010b) oppgir at 10,1 % av et utvalg på 655 barn i alderen 6–10 år hadde foreldrerapporterte språkvansker målt med CCC-2. Mens 7,5 % hadde vansker med struktursiden med eller uten pragmatiske vansker (GKI<55), hadde 2,6 % vansker med den pragmatiske siden og betydelige sosiale vansker (GKI lik eller over 55 og IASI lik eller under -14). I en annen studie på samme utvalg ble persentilfordelingen for GKI-skår sammenlignet med tilsvarende fordeling fra den britiske normeringsstudien (Hollund-Møllerhaug, 2010a). Man fant da at begge lands fordeling viste samme mønster, men ikke var helt ekvivalente. I det norske utvalget var GKI-skår tilsvarende 10. persentil 60, ikke 55, som er den anbefalte terskelverdien basert på det britiske utvalget. W. A. Helland, et al. (2009) fant også i sin studie at 10. persentil i gruppen uten språkforstyrrelse svarte til en noe høyere GKI cut-off på 64. Tre av de andre inkluderte studiene i vår gjennomgang har valgt å benytte cut-off GKI<65 (W. A. Helland, et al., 2012; W. A. Helland, Helland, et al., 2014; W. A. Helland, Lundervold, et al., 2014), mens de øvrige har benyttet GKI<55, noe som gjør forekomster vanskelig å sammenligne. Generelt rapporteres det imidlertid om stor forekomst av språkvansker i de kliniske gruppene som er undersøkt.
Tabell 2a. Middelverdier (M) og standardavvik (SD) for indeks-skårer i ulike undergrupper
Referanse |
Utvalg/gruppe |
N/n |
GKI |
IASI |
||
M |
SD |
M |
SD |
|||
W. A. Helland, et al. (2009) |
Barn med språkforstyrrelse (6–12 år) |
45 |
44,00 |
18,17 |
7,60 |
10,21 |
Normalgruppe (6–12 år) |
108 |
83,78 |
13,93 |
0,53 |
7,20 |
|
W. A. Helland, et al. (2012) |
Barn med ADHD (6–15 år) |
28 |
48.32 |
17,32 |
-3,86 |
9,40 |
Barn med Asperger syndrom (6–15 år) |
19 |
40,74 |
16,24 |
-11,16 |
7,90 |
|
Normalgruppe (6–15 år) |
28 |
85,25 |
12,15 |
0,00 |
5,61 |
|
W. A. Helland, Lundervold, et al. (2014) |
Barn med atferdsvansker (12–15 år) |
40 |
52,45 |
22,60 |
|
|
Normalgruppe (12–15 år) |
37 |
80,46 |
14,93 |
|
|
|
T. Helland, et al. (2017) |
Barn med identifisert risiko for språkvansker (på CCC-2) (5 år) |
18 |
45,94 |
15,08 |
|
|
Barn uten identifisert risiko for språkvansker (på CCC-2) (5 år) |
61 |
74,33 |
11,99 |
|
|
|
Reindal, et al. (2021) |
Barn med ASD-diagnose (4–18 år) |
148 |
38,1 |
17,2 |
|
|
Barn utredet for autisme, men ikke vurdert til å ha ASD (4–18 år) |
29 |
44,2 |
20,9 |
|
|
|
Gutter utredet for autisme (4–18 år, ASD/non-ASD) |
143 |
38,2 |
18,4 |
|
|
|
Jenter utredet for autisme (4–18 år, ASD/non-ASD) |
34 |
42,9 |
15,7 |
|
|
|
Selas and Helland (2016) |
Barn med Noonan syndrom (6–15 år) |
17 |
44,53 |
19,93 |
-0,47 |
10,0 |
Normalgruppe (6–15 år) |
17 |
82,18 |
16,75 |
1,59 |
5,97 |
Tabell 2b. Middelverdier (M) og standardavvik (SD) for CCC-2 skalaer (A-J) i ulike undergrupper (for råskårer* representerer en høy skåre svekkede språkferdigheter, mens for skalerte skårer** representerer en høy skåre språklig styrke).
Referanse |
Utvalg/gruppe |
N |
A: |
B: |
C: Semantikk |
D: |
E: Samtaleinitiativ |
F: Stereotypisk språk |
G: |
H: |
I: |
J: Interesser |
W. A. Helland, et al. (2009)* |
Barn med språkforstyrrelse (6–9 år)
|
29 |
8,24 (5,69) |
5,03 (5,32) |
9,24 (4,42) |
8,03 (4,72) |
8,79 (5,11) |
3,79 (2,85) |
8,69 (5,88)
|
4,83 (3,96) |
4,69 (3,70) |
5,52 (3,99) |
Normalgruppe (6–9 år) |
75 |
0,53 (1,10) |
0,52 (0,98) |
2,89 (2.35) |
1,83 (1,89) |
3,39 (2,59) |
1,11 (1,72) |
2,37 (2,29) |
1,45 (1,44) |
1,31 (1,53) |
2,09 (2,08) |
|
Barn med språkforstyrrelse (10–12 år) |
16 |
2,88 (3,20) |
3,00 (2,92) |
6,31 (3,24) |
5,50 (3,60) |
5,94 (4,78) |
3,31 (3,05) |
5,19 (4,04) |
5,25 (4,67) |
4,44 (4,15) |
5,00 (3,76) |
|
Normalgruppe (10–12 år) |
33 |
0,21 (0,65) |
0,39 (0,70) |
1,24 (1,12) |
1,12 (1,47) |
2,27 (2,66) |
0,45 (0,71) |
1,00 (1,50) |
0,85 (1,20) |
0,76 (1,20) |
1,97 (1,98) |
|
W. A. Helland, et al. (2012)* |
Barn med ADHD (6–15 år) |
28 |
2,18 (3,33) |
2,14 (2,76) |
5,75 (3,08) |
6,71 (4,21) |
8,71 (4,44) |
3,54 (2,99) |
6,29 (3,67) |
4,46 (2,98) |
6,61 (3,90) |
7,43 (3,56) |
Barn med Asperger (6–15 år) |
19 |
1,00 (1,86) |
2,37 (2,41) |
5,68 (2,80) |
7,58 (3,58) |
11,37 (4,14) |
6,16 (3,86) |
9,16 (5,57) |
9,16 (4,75) |
8,11 (4,59) |
10,05 (4,17) |
|
Normalgruppe (6–15 år) |
28 |
0,07 (0,26) |
0,50 (0,92) |
1,25 (1,30) |
0,89 (1,34) |
2,11 (2,08) |
0,50 (0,69) |
0,86 (1,18) |
0,96 (1,82) |
0,79 (1,29) |
1,79 (1,66) |
|
W. A. Helland, Helland, et al. (2014)* |
Barn med språkforstyrrelse (6–12 år) |
19 |
11,00 (6,16) |
6,32 (5,51) |
8,68 (5,10) |
7,42 (4,56) |
6,47 (4,61) |
3,63 (4,41) |
7,74 (5,25) |
4,32 (4,36) |
4,42 (3,82) |
4,32 (3,53) |
Barn med ADHD (6–12 år) |
21 |
2,52 (3,76) |
2,19 (3,11) |
5,57 (3,27) |
6,57 (4,57) |
8,95 (4,32) |
3,76 (3,33) |
5,67 (3,32) |
4,33 (3,12) |
6,19 (4,01) |
7,52 (3,74) |
|
Normalgruppe (6–12 år) |
19 |
0,58 (1,43) |
0,84 (0,83) |
2,26 (2,38) |
1,89 (1,76) |
3,00 (2,77) |
1,00 (1,29) |
1,58 (1,84) |
1,00 (0,88) |
1,11 (1,41) |
2,16 (1,71) |
|
W. A. Helland, Lundervold, et al. (2014)** |
Barn med atferdsvansker (12–15 år) |
40 |
8,40 (3,21) |
7,60 (3,10) |
5,88 (3,97) |
5,20 (3.37) |
6,60 (3,26) |
7,20 (3,22) |
5,28 (4,26) |
6,30 (3,43) |
4,90 (3,23) |
6,95 (3,76) |
Normalgruppe (12–15 år) |
37 |
10,08 (1,77) |
9,81 (2,33) |
9,86 (2,67) |
9,43 (2,42) |
10,41 (3,04) |
10,54 (2,28) |
10,68 (2,80) |
9,97 (3,13) |
10,22 (2,42) |
11,03 (3,16) |
|
Reindal, et al. (2021)** |
Barn med ASD-diagnose (4–18 år) |
148 |
6,6 (4,0) |
6,6 (3,6) |
4,8 (3,0) |
3,9 (2,9) |
4,3 (2,4) |
4,6 (3,0) |
3,2 (2,9) |
4,2 (2,7) |
3,0 (2,6) |
3,1 (2,2) |
Barn utredet for autisme, men ikke vurdert til å ha ASD (4–18 år) |
29 |
5,9 (3,6) |
6,4 (3,6) |
5,9 (3,4) |
4,7 (3,5) |
5,6 (3,2) |
5,7 (3,0) |
4,3 (3,4) |
5,6 (2,9) |
5,1 (3,6) |
4,7 (2,5) |
|
Selas and Helland (2016)** |
Barn med Noonan syndrom (6–15 år) |
17 |
7,18 (3,59) |
6,71 (3,57) |
4,75 (3,07) |
5,29 (3,12) |
4,88 (3,00) |
5,82 (3,13) |
3,53 (2,63) |
6,59 (2,62) |
6,76 (3,78) |
5,06 (2,59) |
Normalgruppe (6–15 år) |
17 |
9,82 (2,27) |
9,82 (2,56) |
10,18 (2,96) |
10,88 (2,93) |
10,94 (3,09) |
10,29 (2,71) |
9,65 (2,50) |
10,12 (2,50) |
10,65 (2,06) |
10,76 (2,80) |
|
Smith, et al. (2017)** |
Barn 6 år med Downs syndrom |
29 |
1,93 (2,25) |
1,21 (1,93) |
4,71 (1,27) |
4,18 (2,25) |
5,48 (1,50) |
5,75 (2,88) |
3,55 (1,88) |
6,79 (1,63) |
5,96 (2,60) |
5,62 (1,93) |
Normer
Den norske manualen (Bishop, 2011) inneholder en utfyllende beskrivelse av den norske standardiseringen og konstruksjonen av de norske normene, som er basert på data innhentet fra to forskjellige utvalg. Det første utvalget består av 641 godkjente CCC-2 besvarelser i aldersgruppen 6–10 år fra studien av (Hollund-Møllerhaug, 2010a, 2010b) hvor den opprinnelige hensikten var å undersøke forekomsten av foreldrerapporterte språkvansker i en tilnærmet normalpopulasjon. Studien ble gjennomført våren 2007 i en vestnorsk kommune med en befolkningsstruktur som ble vurdert til å være representativ for hele landet. Alle skolene i kommunen deltok. Svarprosenten var 64,6 %. Det andre utvalget er basert på to norske studier som innhentet foreldrerapporterte CCC-2 data fra 108 barn i alderen 6–12 år (W. A. Helland, et al., 2009) og 37 barn i aldersgruppen 12–15 år (W. A. Helland, et al., 2012).
Siden begge utvalgene omfattet aldersintervallene 6:0-10:11, ble disse aldersintervallene slått sammen til det som utgjør normgruppen (n = 731). Den norske normgruppen mangler empiriske observasjoner i aldersgruppene 4:0–5:11 år og inneholder kun få observasjoner i aldersgruppen 11:0–16:11 år. For å dekke hele aldersintervallet (4:0–16:11) ble råskårene for disse aldersgruppene estimert. Data fra 55 barn i alderen 11:0–15:11 i det andre utvalget ble brukt for å validere denne estimeringen. Når det gjelder de sammensatte målene GKI og IASI inngår data fra samtlige 786 barn (hele utvalg 1 og 2) i normene. Det ble ikke funnet signifikante kjønnsforskjeller for noen av skalaene da dataene ble analysert (Hollund-Møllerhaug, 2010b). De norske normene er derfor like for gutter og jenter, noe de britiske også er.
Reliabilitet
To publikasjoner oppga mål på indre konsistens i form av Cronbach’s alfa. Skirbekk (2012) fant alfa-verdi 0,94 for GKI, mens W. A. Helland, et al. (2009) rapporterer total alfa-verdi 0,97 basert på råskårer. For enkeltskalaene varierte alfa-verdi fra 0,61 til 0,89 (W. A. Helland, et al., 2009; Skirbekk, 2012). W. A. Helland, et al. (2009) undersøkte også inter-rater reliabilitet i form av samsvar mellom CCC-2 besvarelser gjort av foreldre og lærere for en undergruppe av barn med språkforstyrrelse (N = 26). Enighet ble vurdert med Spearman’s rho, som varierte fra 0,44 (B: syntaks og F: stereotypisk språk) til 0,76 (A: tale). Det foreligger ingen skandinaviske studier som har rapportert inter-rater korrelasjoner basert på indeks-skårene (GKI og IASI).
Validitet
W. A. Helland, et al. (2009) er den eneste skandinaviske studien som har undersøkt CCC-2 med hensyn til sensitivitet og spesifisitet. «Gullstandard» for forekomst av språkforstyrrelse i denne studien var at barnet var henvist til PPT/logoped og at foreldre og fagpersoner vurderte at barnet hadde språkvansker. Basert på cut-off GKI<55 ble 30 av 43 barn i gruppen med språkforstyrrelse korrekt identifisert til å ha språkvansker, noe som gir en sensitivitet på 69,8 %. I gruppen uten språkforstyrrelse ble 106 av 108 barn korrekt identifisert uten språkvansker, noe som gir en spesifisitet på 98,1 %. Ved å flytte terskelverdien fra GKI<55 (terskelverdi fra den britiske normeringen) til GKI<65 økte sensitiviteten til 86 %, mens spesifisiteten falt til 90,7 %.
Tre norske studier rapporterer samsvar med andre kartleggingsverktøy. W. A. Helland, Lundervold, et al. (2014) fant i en longitudinell studie at GKI ved 12–15 års alder korrelerte signifikant med et sammensatt mål på språkvansker fem år tidligere (4 utsagn relatert til ulike aspekter ved språket var inkludert i et spørreskjema som ble besvart av foreldre på en tre-punkts skala og summert til et sammensatt mål med mulig skåre 0–8). Videre rapporterer T. Helland, et al. (2017) en moderat, men signifikant korrelasjon med TRAS (Observasjon av språk i daglig samspill) blant fem år gamle barn i barnehage. Smith, et al. (2017) rapporterer forholdet mellom hver av de pragmatiske CCC-2 skalaene (E, F, G, H) og andre mål på ordforråd og nonverbale ferdigheter (WPPSI-III, BPVS-II), samt sosial fungering (PEDI, SDQ) i et lite utvalg barn med Downs syndrom uten funn av signifikante korrelasjoner.
Endringssensitivitet
Vi har ikke funnet noen publikasjoner som rapporterer endringssensitivitet.
Diskusjon og konklusjon
Det systematiske litteratursøket vedrørende egenskaper ved testen resulterte i relativt få artikler (n = 11) som omhandlet CCC-2s psykometriske egenskaper i skandinaviske utvalg. Samtlige av disse var norske, og fire var studier knyttet til standardiseringen av den norske versjonen av CCC-2. Videre er kontrollgruppen i flere av de andre studiene hentet fra normutvalget. De norske normene har dermed i liten grad blitt etterprøvd i andre og større utvalg, og for aldersgrupper der normgrunnlaget er begrenset. Kliniske grupper er i hovedsak blitt sammenlignet med dette begrensede utvalget. To av de 11 inkluderte artiklene omhandlet til dels små utvalg med spesifikke syndromer (Selas & Helland, 2016; Smith, et al., 2017). Representativiteten av disse for populasjonen som helhet er dermed noe usikker.
Samlet sett vurderes de psykometriske egenskapene til den norske versjonen av CCC-2 som lovende, men begrenset. Størrelsen på det norske normeringsutvalget (N = 731 barn) kan iht EFPAs testreview-modell klassifiseres som godt (European Federation of Psychologists' Association (EFPA), 2013). Utvalget er større enn det britiske normgrunnlaget (N = 542), med sammenlignbar svarprosent (Bishop, 2003). En stor svakhet er imidlertid få/manglende observasjoner for enkelte aldersgrupper, der kun estimerte råskårer foreligger. En slik strategi har sin klare begrensning. I den britiske normdatainnsamlingen ble elever som hadde behov for spesialundervisning ekskludert (Bishop, 2003). Det britiske utvalget representerer dermed en noe mer selektert gruppe sammenlignet med utvalget i studien av Hollund-Møllerhaug (2010a), som representerer en tilnærmet normalpopulasjon. I det norske utvalget var imidlertid aldersspennet betydelig mindre (fire år mot tolv år i det britiske) og alle barn var seks år eller eldre, noe som kan ha hatt betydning for observerte forskjeller i persentilfordelingen for GKI ettersom en del barn har forbigående språkvansker i førskolealder (Hollund-Møllerhaug, 2010a).
Begrepsvaliditeten til den norske versjonen av CCC-2 støttes i hovedsak av resultat fra flere norske studier som tyder på at indeks-skårene kan differensiere mellom barn med og uten språkvansker (GKI), og kan fange opp barn som bør utredes nærmere for en autismespekterforstyrrelse (IASI). Dette er i tråd med resultater fra de britiske valideringsstudiene (Bishop, 2003). Det er lite sannsynlig at barn med språkforstyrrelser oppnår en GKI over 10. persentil, og de fleste av dem skårer betydelig lavere (Bishop, 2011). GKI ser i mindre grad ut til å differensiere mellom ulike kliniske undergrupper, mens IASI har vist seg å være lavere hos barn med Asperger syndrom (W. A. Helland, et al., 2009; Norbury, et al., 2004). Forekomst og fordeling av språkvansker blant norske barn er basert på anbefalte tolkninger av CCC-2 resultatene (Bishop, 2003) funnet å være i samsvar med internasjonale studier (Hollund-Møllerhaug, 2010b). Dette understøtter at den norske versjonen av CCC-2 med sine indeks-skårer fanger opp viktige deler av det underliggende begrepet (kommunikasjonsvansker). Det er imidlertid ikke beskrevet britiske eller skandinaviske undersøkelser av CCC-2s faktorstruktur og i liten grad gjort skandinaviske studier av begrepsvaliditeten.
Få skandinaviske studier har undersøkt samsvar med andre kartleggingsverktøy, og studier som har sett på samsvar med vanlig brukte kliniske verktøy for kartlegging av språklige og sosiale ferdigheter mangler. Kriterievaliditet er også mangelfull når det gjelder anbefalt cut-off for GKI, og er ikke undersøkt for IASI i skandinaviske utvalg. Anbefalingene i den norske manualen for tolkning av indeks-skårene baserer seg på de britiske valideringsstudiene. Ved kartlegging av språkvansker kan feil cut-off skår bety feilkategoriseringer, og at barnet enten kan gå glipp av nødvendig utredning og tilpassede tiltak, eller må gjennomgå unødig og belastende utredning. Blant de inkluderte studiene varierte det hvilken cut-off som ble benyttet for å identifisere språkvansker. Resultat fra to av studiene (W. A. Helland, et al., 2009; Hollund-Møllerhaug, 2010a) tyder på at dersom CCC-2 brukes til kartlegging av språkvansker hos norske barn i klinisk eller forskningssammenheng, bør GKI-skår cut-off trolig settes høyere enn 54. Dette er ikke nærmere omtalt i manualen. Oi, et al. (2017) har undersøkt fordelingen av GKI og IASI-skårer for den japanske versjonen av CCC-2. ROC-analyser ble gjennomført for å avklare hvilken GKI cut-off som ga mest fordelaktig sensitivitet og spesifisitet for å predikere tilstedeværelse av ASD eller språkvansker. Ved GKI 61,5 var sensitivitet = 0,797 og spesifisitet = 0,808. Hvilken GKI cut-off som er best egnet i skandinaviske utvalg bør være et prioritert område for videre forskning.
Vi gjør oppmerksom på at det etter at denne publikasjonen ble innsendt for fagfellevurdering er publisert ytterligere en norsk studie som har undersøkt sensitiviteten og spesifisiteten til CCC-2 og språkkartleggingsverktøyet CELF-4, samt effekten av å justere terskelverdien for GKI fra 55 til 64 i et utvalg av 21 barn i alderen 5–12 år med påviste utviklingsmessige språkforstyrrelser og 21 barn med typisk utvikling (Akselberg, Karlsen, Valand, & Torkildsen, 2021). De fant at CCC-2 i mindre grad enn CELF-4 identifiserte deltakerne med utviklingsmessige språkforstyrrelser. En justering av terskelverdien for CCC-2 økte sensitiviteten betydelig, uten at spesifisiteten ble påvirket. Resultatene tyder på at CCC-2 med manualens terskelverdier ikke bør brukes alene til å avgjøre hvorvidt barn med mistenkte språkvansker skal utredes videre (Akselberg, et al., 2021).
Intern konsistens ser ut til å være tilfredsstillende for de fleste CCC-2 skalaer, noe som tyder på at besvarelsene av testledd i CCC-2 er konsistente innenfor hver enkelt skala. Sammenlignet med den britiske normgruppen hvor det ble rapportert sammenlignbare alfa-verdier, er imidlertid de norske utvalgene mindre og består i hovedsak av kliniske grupper. For indeks-skårene er foreliggende resultater lovende (GKI), men mangelfulle (IASI ikke undersøkt i det hele). Den rapporterte inter-rater reliabiliteten mellom foreldre og lærere (W. A. Helland, et al., 2009) er sammenlignbar med funn fra de britiske reliabilitetsstudiene, men er basert på et svært lite utvalg av barn med språkforstyrrelser. Det foreligger ingen skandinaviske studier som har rapportert inter-rater korrelasjoner basert på indeks-skårene (GKI og IASI). Foreliggende data er dermed utilstrekkelig til å vurdere hvorvidt CCC-2 også er et reliabelt instrument, særlig når andre enn foreldre rapporterer. De britiske studiene rapporterer en relativt høy inter-rater reliabilitet (0,79) mellom foreldre og fagpersoner på IASI, og høyere enn den relativt lave inter-rater reliabiliteten for de enkelte subskalaene dette målet er basert på (0,44–0,76)(W. A. Helland, et al., 2009). Dette kan indikere at både foreldre og fagpersoner er i stand til å skille mellom barn med kommunikasjonsvansker relatert til autismespekterforstyrrelser og barn med utviklingsmessige språkforstyrrelser, selv om de kanskje fanger opp ulike aspekter ved kommunikasjonen (Bishop, 2011). Foreldrerapport kan være å foretrekke ved undersøkelse av språkvansker, da foreldre ofte har større mulighet til å observere barnet i flere sammenhenger som stiller krav til språkbruk enn andre respondenter. Foreldre kan imidlertid også ha dårlige språk- eller leseferdigheter, som kan vanskeliggjøre konsistent og riktig utfylling av sjekklisten. Reindal, et al. (2021) fant at gruppen av barn der samsvarssjekk indikerte inkonsistent svarmønster hadde lavere GKI og dårligere strukturelle språkferdigheter. Barnets svarprofil og ev. inkonsistent svarmønster bør derfor vurderes nøye og med forsiktighet av fagperson med kompetanse på språkområdet og kjennskap til instrumentet.
Til tross for lovende valideringsstudier er normgrunnlaget for CCC-2 noe begrenset og begrepsvaliditeten ikke godt studert i Skandinavia. Det er et stort behov for psykometriske faktoranalyser, studier av sensitivitet og spesifisitet med tanke på å avklare egnet terskelverdi for GKI i skandinaviske utvalg, samt flere studier på yngre barn og større utvalg, der det per i dag er begrenset datagrunnlag. Det er også behov for flere studier av samsvar mellom foreldre og lærerrapport, samsvar med andre kartleggingsverktøy og ev. effekt av intervensjoner (endringssensitivitet). CCC-2 ser ut til å skille mellom barn med og uten språkforstyrrelse og kunne bidra til å fange opp barn som bør utredes videre for mulig autismespekterforstyrrelse, og kan dermed være nyttig i en klinisk utredning. Det må imidlertid understrekes at skårene på CCC-2 alene ikke gir grunnlag for noen diagnose. Tolkning av CCC-2 resultater og tilbakemelding til foreldre og skole krever kompetanse innen språkområdet og god kjennskap til instrumentet. Dersom CCC-2 brukes for barn under skolealder, barn som ikke har norsk som hovedspråk hjemme, eller fylles ut av andre enn foreldre, bør resultatene tolkes med større forsiktighet.
Vurdér og oppgi mulige interessekonflikter
Forfatterne erklærer herved at de ikke har noen interessekonflikter.
Referanser
Akselberg, E. T., Karlsen, J., Valand, S. & Torkildsen, J. v. K. (2021). Hvor godt kan CELF-4 og CCC-2 identifisere utviklingsmessige språkforstyrrelser? Norsk Tidsskrift for Logopedi, 2, 8-17.
Bishop, D. V. M. (2003). The Children's Communication Checklist Second Edition (CCC-2). London: Psychological Corporation.
Bishop, D. V. M. (2011). The Children's Communication Checklist Second Edition. CCC-2 Manual. Norsk versjon. Stockholm: Pearson Assessment.
Bishop, D. V. M., Snowling, M. J., Thompson, P. A. & Greenhalgh, T. (2017). Phase 2 of CATALISE: a multinational and multidisciplinary Delphi consensus study of problems with language development: Terminology. Journal of Child Psychology and Psychiatry, 58(10), 1068-1080. doi: 10.1111/jcpp.12721
European Federation of Psychologists' Association (EFPA). (2013). EFPA review model for the description and evaluation of psychological tests: Test review form and notes for reviewers, v 4.2. 6: EFPA.
Helland, T., Jones, L. Ø. & Helland, W. (2017). Detecting preschool language impairment and risk of developmental dyslexia. Journal of Research in Childhood Education, 31(2), 295-311.
Helland, W. A., Biringer, E., Helland, T. & Heimann, M. (2009). The usability of a Norwegian adaptation of the Children's Communication Checklist Second Edition (CCC-2) in differentiating between language impaired and non-language impaired 6- to 12-year-olds. Scandinavian Journal of Psychology, 50(3), 287-292. doi: 10.1111/j.1467-9450.2009.00718.x
Helland, W. A., Biringer, E., Helland, T. & Heimann, M. (2012). Exploring language profiles for children with ADHD and children with asperger syndrome. Journal of Attention Disorders, 16(1), 34-43. doi: 10.1177/1087054710378233
Helland, W. A., Helland, T. & Heimann, M. (2014). Language profiles and mental health problems in children with specific language impairment and children with ADHD. Journal of Attention Disorders, 18(3), 226-235. doi: 10.1177/1087054712441705
Helland, W. A., Lundervold, A. J., Heimann, M. & Posserud, M. B. (2014). Stable associations between behavioral problems and language impairments across childhood - the importance of pragmatic language problems. Research In Developmental Disabilities, 35(5), 943-951. doi: 10.1016/j.ridd.2014.02.016
Hollund-Møllerhaug, L. (2010a). Children’s Communication Checklist (CCC-2): En sammenligning av GCC-skårenes persentilfordeling i et britisk og norsk utvalg. Tidsskrift for Norsk Psykologforening, 47, 824-826.
Hollund-Møllerhaug, L. (2010b). Forekomst av språkvansker hos norske barn. Tidsskrift for Norsk Psykologforening, 47, 608-610.
Kristoffersen, K. E., Rygvold, A.-L., Klem, M., Valand, S. B., Asbjørnsen, A. & Næss, K.-A. (2021). Terminologi for vansker med språk hos barn og unge - en konsensusstudie. Norsk Tidsskrift for Logopedi, 3, 6-23.
Norbury, C. F., Nash, M., Baird, G. & Bishop, D. (2004). Using a parental checklist to identify diagnostic groups in children with communication impairment: a validation of the Children's Communication Checklist--2. International Journal of Language & Communication Disorders, 39(3), 345-364. doi: 10.1080/13682820410001654883
Oi, M., Fujino, H., Tsukidate, N., Kamio, Y., Yoshimura, Y., Kikuchi, M. et al. (2017). Quantitative Aspects of Communicative Impairment Ascertained in a Large National Survey of Japanese Children. Journal of Autism and Developmental Disorders, 47(10), 3040-3048. doi: 10.1007/s10803-017-3226-x
Reindal, L., Nærland, T., Weidle, B., Lydersen, S., Andreassen, O. A. & Sund, A. M. (2021). Structural and Pragmatic Language Impairments in Children Evaluated for Autism Spectrum Disorder (ASD). Journal of Autism and Developmental Disorders. doi: 10.1007/s10803-020-04853-1
Selas, M. & Helland, W. A. (2016). Pragmatic language impairment in children with Noonan syndrome. Clinical Linguistics & Phonetics, 1-12. doi: 10.1080/02699206.2016.1188422
Skirbekk, A. B. (2012). Neurodevelopmental Problems in a Clinical Sample of Children with Anxiety Disorders. (Doktoravhandling). Universitetet i Oslo, Oslo.
Smith, E., Næss, K. B. & Jarrold, C. (2017). Assessing pragmatic communication in children with Down syndrome. Journal of Communication Disorders, 68, 10-23. doi: 10.1016/j.jcomdis.2017.06.003