Måleegenskaper ved den norske versjonen av Competence and Adherence Scale for Cognitive Behavioral Therapy (CBT) for Anxiety Disorders in Youth (CAS-CBT)

Innledning

Competence and Adherence Scale for Cognitive Behavioral Therapy (CAS-CBT) er et skåringsverktøy som vurderer terapeuters etterlevelse og kompetanse knyttet til kognitiv atferdsterapi (KAT) for barn med angst. Dette gjøres ved hjelp av observasjonsdata (videoopptak), hvor terapeutenes gjennomføring av en terapitime skåres på bakgrunn av ulike dimensjoner som er vanlig i KAT-terapi. Instrumentet bygger på Cognitive Therapy Adherence and Competence Scale (CTACS) (Barber et al., 2003)  som var utviklet for å vurdere terapeuters etterlevelse knyttet til individuell terapi med voksne. Instrumentet er oversatt, modifisert og tilpasset til bruk i KAT-behandling av barn og ungdom i Norge av Jon Bjåstad og kollegaer (2015). Skalaen er spesielt nyttig ved bruk av manualbaserte programmer som innehar spesifikke mål for timen som skal vurderes (Bjaastad et al., 2015).

Selve instrumentet består av elleve testledd fordelt på tre dimensjoner: 1) Kognitiv terapistruktur; 2) Prosess- og relasjonsferdigheter; 3) Tilretteleggelse for gjennomføring av mål for timen. Innenfor hver av disse dimensjonene skåres terapeutens etterlevelse og kompetanse. Etterlevelse er definert som «om» og «i hvor stor grad» terapeutene gjennomfører de punktene som skisseres under etterlevelse. Kompetanse er definert ut fra «hvor godt/grad av kompetanse» terapeuten utviser i gjennomføringen av den aktuelle intervensjonen eller målet. Innenfor temaet kognitiv terapistruktur vurderes terapeutenes etterlevelse (tre testledd), før kompetansen vurderes samlet (semi-global skår) for alle disse tre testleddene. Prosess- og relasjonsferdigheter består av to testledd knyttet til etterlevelse, mens fleksibilitet er regnet som et kompetanseledd sammen med en samlet vurdering (semi-global skår) av terapeutenes kompetanse knyttet til prosess- og relasjonsferdigheter. I den siste dimensjonen vurderes terapeutens etterlevelse knyttet til hvert spesifikke mål for timen (fortrinnsvis oppgitt i en terapeutmanual på forhånd), mens kompetanse knyttet til gjennomføring av målene vurderes samlet for alle målene, også som en semi-global skår. Se Figur 1 for en oversikt over instrumentet og skåringen.

Figur 1. Modell over CAS-CBT på norsk.

Note: CAS-CBT måler etterlevelse og kompetanse på tre dimensjoner: KAT struktur, Prosess- og relasjonsferdigheter og Tilretteleggelse for mål for timen, samt en Helhetsvurdering av timen. Instrumentet består av i alt åtte etterlevelsesskårer og fem kompetanseskårer (markert med fet skrift).

Etterlevelse vurderes på en 7-punkts skala fra 0 = Ikke i det hele tatt til 6 = I svært stor grad. Kompetanseleddene vurderes også på en skala fra 0 til 6, men for hver av disse følger det en beskrivelse for hva de ulike skårene 0, 2, 4 og 6 innebærer, hvor 0 er svært dårlig/ikke gjennomført, mens 6 viser til en utmerket gjennomføring. Tallene 1, 3 og 5 har ingen beskrivelse, men tolkes som en kompetanseoppnåelse mellom de beskrivelsene som foreligger for de andre skårene.

Utover de 11 testleddene som instrumentet bygger på, gjøres det også en helhetsvurdering av timen, både i forhold til etterlevelse og kompetanse. Helhetsvurderingene for etterlevelse og kompetanse er en global skår for hele terapitimen og ikke sumskårer av de ulike spørsmålsleddene innenfor hvert konstrukt. Disse spørsmålene vurderes også på en 7-punkts skala med tilsvarende beskrivelser som de foregående testleddene som inngår i instrumentet. Helt til slutt vurderes også hvor utfordrende timen var på en skala fra 0 = Ikke i det hele tatt til 6 = I svært stor grad. Vurdering av hvorvidt videoopptaket var fullstendig, og kvaliteten på opptaket vurderes også med et Ja/Nei svar.

Det medfølger en kort instruksjon som beskriver hvordan instrumentet skal brukes ved skåring av videoer, og punkter som er viktige før, underveis og etter man har sett videoen. I skåringsinstruksjonen står det blant annet skrevet at man skal se hele videoen og notere relevante observasjoner (både verbale og non-verbale) på skåringsarket. Den endelige skåringen foretas etter at hele videoopptaket er gjennomgått, med et utgangspunkt i midtskåren (3) på skalaen. Dersom den som skårer vurderer at terapeuten viser mer enn middels grad av etterlevelse eller kompetanse skårer du høyere (4-6). Motsatt, dersom den som skårer vurderer at terapeutene skårer under middels gir du en lavere skår (0-2). For hver video som skåres må det påregnes ekstra tid til forberedelse (lese gjennom manual og mål for den aktuelle timen), og etterarbeid (gjennomgang av notater og endelig skåring).

Det foreligger ingen formelle krav til den som skal gjennomføre skåringene. Instrumentutvikler (Bjaastad et al., 2016) tilbyr opplæring i bruk av instrumentet mot et honorar, samt oppfordrer til at de som skal skåre videoopptakene også har opplæring i programmet som vurderes, og kjennskap til de spesifikke målene for hver time som skal skåres. Instrumentet kan fritt tas i bruk i forbindelse med forskning og i andre ikke-kommersielle sammenhenger, men med krav om at det gis informasjon til instrumentutvikler om hva instrumentet skal brukes til. 
 

Metode

Bibliotekar Brynhildur Axelsdottir ved Regionsenter for barn og unges psykiske helse, helseregion Øst og Sør, søkte etter dokumentasjon på testens psykometriske egenskaper i databasene, PsycINFO, Medline, Embase, Cochrane Library, Oria (BIBSYS), Norart, SveMed+, PubMed, CRIStin.no, NORA.no, Forskningsdatabasen.dk og Swepub. Søkedato: 08.03.2019. Søkestrategien er tilgjengelig på http://www.psyktestbarn.no/CMS/ptb.nsf/pages/cas-cbt-competence-and-adherence-scale-for-cognitive-behavioral-therapy-cbt-for-anxiety-disorders-in-youth  Vi kontaktet også førsteforfattere av inkluderte artikler, samt instrumentutvikler, for å identifisere dokumentasjon som eventuelt ikke ble fanget opp av det systematiske søket.

Vi inkluderte alle publikasjoner av studier som har undersøkt og rapportert minst ett av følgende i skandinaviske utvalg:

• normdata for testen
• reliabilitet: indre konsistens, test-retest, interrater og endringssensitivitet
• validitet: samsvar med liknende testskårer, samsvar med referansestandard eller annet kriterium, og/eller faktorstruktur

I tillegg, og kun for norske versjoner av CAS CBT, inkluderte vi publikasjoner som rapporterte gjennomsnittsskårer og/eller forekomster for henholdsvis generelle populasjoner og kliniske undergrupper dersom de ikke allerede var rapportert gjennom andre studier.

Etter fjerning av dubletter gikk begge forfatterne gjennom alle identifiserte publikasjoners sammendrag. Forfatterne foretok vurderingene uavhengig av hverandre. Alle publikasjoner som kunne virke relevante ble bestilt inn i fulltekst, og vurderingsprosessen ble gjentatt for disse.

Begge forfatterne vurderte normering, validitet og reliabilitet ved hjelp av en tilpasset versjon av Test review form and notes for reviewers (European Federation of Psychologists' Associations, 2013). Forfatterne foretok vurderingene uavhengig av hverandre.

Resultater

Litteratursøk

Litteratursøket resulterte i 82 treff i norske databaser, samt tre treff i svenske og danske databaser. Etter at dubletter ble fjernet var det totalt 79 treff som ble gjennomgått og vurdert for inklusjon, hvorav 74 referanser ble ekskludert etter gjennomgang av tittel og sammendrag. Tre av disse treffene ble ekskludert da de var konferansebidrag (Bjaastad, Haugland, Fjermestad, Torsheim, & Havik, 2014a; Harstad, Compton, & Villabo, 2017) eller postere (Bjaastad, Haugland, Fjermestad, Torsheim, & Havik, 2014b), mens de resterende ble ekskludert fordi de ikke omhandlet CAS-CBT. Fem artikler ble dermed gjennomgått i fulltekst, hvorav to av disse oppfylte inklusjonskriteriene (Bjaastad et al., 2016; Villabo, Narayanan, Compton, Kendall, & Neumer, 2018). De tre andre ble ekskludert da de baserte seg på det samme utvalget som i Bjaastad et al. (2016), og dermed oppga akkurat samme informasjon og følgelig ingen nye psykometriske egenskaper utover dette (Bjaastad et al., 2018; Kodal et al., 2018). Vi forespurte også instrumentutvikler, men det forelå ingen flere studier som oppga psykometriske egenskaper ved instrumentet. Se Tabell 1 for en oversikt over inkluderte studier.

I Bjaastad og kollegaer (2016) ble resultater fra en randomisert kontrollert intervensjonsstudie rapportert (Wergeland et al., 2014). I studien ble CAS-CBT anvendt for å vurdere terapeutenes (N = 17) etterlevelse og kompetanse knyttet til behandling av angst hos barn og unge som gjennomgikk det manualbaserte FRIENDS for life-programmet (Barrett, 2004, 2005), sammenlignet med en venteliste-kontroll gruppe. I studien bygger resultatene til CAS-CBT på N = 181 videoopptak av totalt 182 barn (M = 11,5 år, SD = 2,1). I Villabo et al. (2018)anvendes CAS-CBT på tilsvarende måte, men til behandling av angst hos barn og unge henvist til de lokale psykisk helsetjenestene hvor programmet Mestringskatten ble brukt (Kendall, Martinsen, & Neumer, 2006a, 2006b). Studien hadde et venteliste-kontroll design, og inkluderte totalt 165 barn med en gjennomsnittsalder på 10,5 år, hvor 82 barn fikk individuell terapi og 75 barn mottok gruppebasert terapi. Terapeutenes (N = 32) etterlevelse og kompetanse ble vurdert gjennom 212 videopptak av de ulike terapitimene.

Tabell 1. Inkluderte studier

Middelverdier

I Tabell 2 presenteres en oversikt over middelverdier for terapeutenes etterlevelse og kompetanse som ble vurdert ved bruk av CAS-CBT i Bjaastad et al. (2016). I Villabo et al. (2018) skiller de mellom individuell terapi (ICBT) og gruppeterapi (GCBT). I begge studiene er tallene er basert på både ekspert og ikke-ekspert evalueringer (studenter).

Tabell 2. Middelverdier (M) og standardavvik (SD) for delskalaene i CAS-CBT

Note. ICBT = individuell terapi. GCBT = gruppeterapi.

Validitet

Begrepsvaliditet. En eksplorerende faktoranalyse (principal axis factoring) med skrå (oblique) rotasjon identifiserte to faktorer som forklarte 67 % av variansen i testleddene (2016). Leddene som samlet seg sammen i den ene faktoren representerte «KAT struktur og mål for timen», mens de resterende leddene samlet seg i den andre faktoren som ble kalt «Prosess- og relasjonsferdigheter». Disse to faktorene inneholder både etterlevelse- og kompetansespørsmål. Resultatene viste også en sterk sammenheng mellom de ulike testleddene (inter-item korrelasjoner) i instrumentet, hvor flere av disse var signifikante. Bjaastad et al. (2016) rapporterte videre en sterk positiv korrelasjon mellom sumskårene på etterlevelse og kompetanse (r = 0,79, p < ,001).
 

Reliabilitet

Reliabilitet estimert i form av Cronbach’s alpha (α) var henholdsvis 0,87 for totalskalaen på 11 ledd, samt 0,87 for underskalaen «KAT struktur og mål for timen» (7 testledd), og 0,89 for skalaen «Prosess- og relasjonsferdigheter» (4 testledd) (Bjaastad et al., 2016).  

Videre, i samme studie ble interraterreliabiliteten (ICC) mellom de to studentene og to ekspertene som skåret videoene vurdert ved at ekspertene skåret 26 tilfeldig utvalgte videoer som studentene allerede hadde skåret. For den gjennomsnittlige totalskåren viste resultatene en ICC = 0,83 for etterlevelse og en ICC = 0,64 for kompetanse. ICC for hvert testledd varierte mellom 0,17 og 0,90, hvor syv av 11 viste til en tilfredsstillende ICC-skåre > 0,60 basert på kriteriene til EFPA (2013). ICC for helhetsvurderingen av etterlevelse var 0,73 og for kompetanse var den 0,49.

Interraterreliabilitet ble også vurdert i Villabo et al. (2018), hvor to eksperter og tre ikke-eksperter skåret til sammen 212 videoer (10 % av disse ble brukt til å vurdere ICC). I denne studien oppnådde de en utmerket ICC for gjennomsnittsskårene knyttet til både for etterlevelse (0,96) og kompetanse (0,90). Resultatene er basert på et gjennomsnitt av de syv leddene som beskriver etterlevelse, og de fire leddene som omfatter kompetanse. Skårene for de enkelte testleddene var ikke oppgitt.

For å undersøke stabiliteten over tid i skåringene av etterlevelse og kompetanse (test-retest) rapporterte Bjaastad et al. (2016) en ICC = 0,89 for etterlevelse og 0,92 for kompetanse. Denne testen ble gjennomført ved at en av ekspertene skåret 15 tilfeldig valgte videoer om igjen, hvor den gjennomsnittlige tidsforskjellen mellom de to skåringene var på 17,4 måneder (range 12–25 måneder).
 

Normer

Da CAS-CBT er et skåringsverktøy brukt til å vurdere terapeuters etterlevelse og kompetanse i deres gjennomføring av kognitiv atferdsterapi på barn og unge med angst, er det ikke relevant å vurdere norske normer knyttet til dette.

Diskusjon og konklusjon

Det foreligger begrenset dokumentasjon på instrumentets psykometriske egenskaper, og det vises primært til én publikasjon som har undersøkt dette (Bjaastad et al., 2016). Videre er det også oppgitt resultater fra en studie (Villabo et al., 2018) med et annet utvalg og ved bruk av et annet manualbasert program, men informasjonen er noe begrenset (kun middelverdier og interraterreliabilitet er rapportert). Resultatene knyttet til ICC på gjennomsnittsskårene for etterlevelse og kompetanse i Bjaastad et al. (2016) er henholdsvis god og tilfredsstillende, men med en variasjon på de enkelte testledd fra ikke-tilfredsstillende til utmerket basert på kriteriene som ligger til grunn i denne vurderingen (European Federation of Psychologists' Associations, 2013). Helhetsvurderingen av etterlevelse er utmerket, mens helhetsvurderingen av kompetanse er ikke-tilfredsstillende. Dette indikerer at det for kompetanse kan være vanskeligere å oppnå konsensus mellom ratere sammenlignet med etterlevelse. Villabo et al. (2018) rapporterer utmerket gjennomsnittlig ICC score for etterlevelse og kompetanse, men da ICC-skårene for de enkelte testleddene ikke er oppgitt, er det ikke mulig å vurdere studiens interraterreliabilitet nærmere.

De resultatene som foreligger viser også en god indre konsistens for de skalaene som er identifisert gjennom den eksplorerende faktoranalysen (Faktor 1: KAT struktur og mål for timen og faktor 2: Prosess- og relasjonsferdigheter). De to faktorene som er rapportert basert på faktoranalysen er således ikke de samme begrepene, etterlevelse og kompetanse, som instrumentet er tenkt å måle. Videre viser resultatene til en sterk sammenheng mellom etterlevelse og kompetanse hvilket ifølge Bjaastad et al. (2016) kan skyldes at terapeuter som er gode til å følge manualen, også er dyktige til å utføre terapien med høy kvalitet. En annen forklaring kan også være at raterne ikke var gode nok til å skille mellom etterlevelse og kompetanse (Bjaastad et al., 2016). Det ville derfor være hensiktsmessig med en konfirmerende faktoranalyse (CFA), for å undersøke faktorstrukturen til instrumentet nøyere. I tillegg hadde det vært å foretrekke at instrumentet ble sammenlignet med andre lignende verktøy for å undersøke begrepsvaliditeten. Det er behov for flere studier som kan vurdere de psykometriske egenskapene til CAS-CBT, gjerne fra andre settinger, for eksempel i et forebyggende perspektiv med terapeuter uten formell CBT-utdanning, samt andre lignende problemområder (f.eks. depresjon). En ekstern evaluering av instrumentet gjort av andre enn de som har utviklet instrumentet er også ønskelig. 

Vurdér og oppgi mulige interessekonflikter

Begge forfatterne anvender eller har anvendt tilpassede versjoner av skåringsverktøyet, og undersøker for tiden de psykometriske egenskaper til CAS-CBT i egne forskningsprosjekter (Patras et al., 2016).

Referanser 

Barber, J. P., Liese, B. S. & Abrams, M. J. (2003). Development of the Cognitive Therapy Adherence and Competence Scale. Psychotherapy Research, 13, 205-221. doi: 10.1093/ptr/kpg019

Barrett, P. M. (2004). FRIENDS for Life: Group leader's Manual for Children. Brisbane, Australia: Australian Academic Press.

Barrett, P. M. (2005). FRIENDS for Life: Group Leader's Manual for Youth. Bowen Hills: Australian Academic Press.

Bjaastad, J. F., Haugland, B. S.-M. & Fjermestad, K. W. (2015). Competence and Adherence Scale for Cognitive Behavioral Therapy (CAS-CBT). [Instrumentbeskrivelse].

Bjaastad, J. F., Haugland, B. S. M., Fjermestad, K. W., Torsheim, T. & Havik, O. E. (2014a). Psychometric evaluation of a measure for adherence/competence for CBT with child anxiety disorders. Paper presentert ved The 44th Annual Congress, European Association for Behavioural and Cognitive Therapies, The Hague, Nederland.

Bjaastad, J. F., Haugland, B. S. M., Fjermestad, K. W., Torsheim, T. & Havik, O. E. (2014b). Psychometric evaluation of a measure for adherence/competence for CBT with child anxiety disorders (Poster). Paper presentert ved The 8th International Congress of Cognitive Psychotherapy (ICCP), Hong Kong, China.

Bjaastad, J. F., Haugland, B. S. M., Fjermestad, K. W., Torsheim, T., Havik, O. E., Heiervang, E. R. et al. (2016). Competence and adherence scale for cognitive behavioral therapy (CAS-CBT) for anxiety disorders in youth: Psychometric properties. Psychological Assessment, 28(8), 908-916. doi: http://dx.doi.org/10.1037/pas0000230

Bjaastad, J. F., Wergeland, G. J. H., Haugland, B. S. M., Gjestad, R., Havik, O. E., Heiervang, E. R. et al. (2018). Do clinical experience, formal cognitive behavioural therapy training, adherence, and competence predict outcome in cognitive behavioural therapy for anxiety disorders in youth? (Vol. 25:6, s. 865-877): Clinical Psychology and Psychotherapy. (Lokalisert på http://dx.doi.org/10.1002/cpp.2321).

European Federation of Psychologists' Associations. (2013). EFPA Review model for the description and evaluation of psychological and educational tests: Test review form and notes for reviewers. Version 4.2.6.

Harstad, S., Compton, S. N. & Villabo, M. A. (2017). Cognitive-behavioral therapy (CBT) for children with anxiety disorder: Do the therapists’ adherence and competence Matter? Paper presentert ved AACAP's 64th Annual Meeting, Washington DC, US.

Kendall, P. C., Martinsen, K. D. & Neumer, S. P. (2006a). Mestringskatten (Coping cat) - Arbeidsbok. Kognitiv atferdsterapi for barn med angst. Oslo: Universitetsforlaget.

Kendall, P. C., Martinsen, K. D. & Neumer, S. P. (2006b). Mestringskatten (Coping cat) - Terapeutmanual. Kognitiv atferdsterapi for barn med angst. Oslo: Universitetsforlaget.

Kodal, A., Fjermestad, K., Bjelland, I., Gjestad, R., Öst, L.-G., Bjaastad, J. F. et al. (2018). Long-term effectiveness of cognitive behavioral therapy for youth with anxiety disorders. Journal of Anxiety Disorders, 53, 58-67. doi: 10.1016/j.janxdis.2017.11.003

Patras, J., Martinsen, K. D., Holen, S., Sund, A. M., Adolfsen, F., Rasmussen, L.-M. P. et al. (2016). Study protocol of an RCT of EMOTION: An indicated intervention for children with symptoms of anxiety and depression. [journal article]. BMC Psychology, 4, 48. doi: 10.1186/s40359-016-0155-y

Villabo, M. A., Narayanan, M., Compton, S. N., Kendall, P. C. & Neumer, S.-P. (2018). Cognitive-behavioral therapy for youth anxiety: An effectiveness evaluation in community practice. [Empirical Study; Quantitative Study]. Journal of Consulting and Clinical Psychology, 86(9), 751-764. doi: http://dx.doi.org/10.1037/ccp0000326

Wergeland, G. J. H., Fjermestad, K. W., Marin, C. E., Haugland, B. S.-M., Bjaastad, J. F., Oeding, K. et al. (2014). An effectiveness study of individual vs. group cognitive behavioral therapy for anxiety disorders in youth. Behaviour Research and Therapy, 57, 1-12. doi: 10.1016/j.brat.2014.03.007