5 fatale fejl i din evalueringspraksis – Del 1
“Du har for 4 dage siden deltaget i vores konference. Hjælp os til at blive bedre ved at besvare 10 korte spørgsmål:
Hvilken præsentation syntes du bedst om?
- Fremtidens brugerundersøgelser v/Taler 1
- Hvad gør vi med Big Data? v/ Taler 2
- Flipped Classroom i mødeindustrien v/Taler 3
Klik for at komme videre til næste spørgsmål …
For nyligt modtog jeg noget, der svarer til ovenstående i en e-mail. Det var en invitation til et digitalt spørgeskema og viste sig at være en fin anledning til at uddybe de mest almindelige problemer med at bruge spørgeskema som metode til dataindsamling.
Forhistorien til e-mailen er, at der var tale om et arrangement, som jeg havde betalt penge for at deltage i, OG at jeg var gået halvvejs fordi jeg – af forskellige årsager – syntes, at arrangementet var et utilgiveligt spild af tid.
Jeg besvarede aldrig spørgeskemaet, og det er der 4 grunde til
1 Upersonlig mail
Henvendelsen kom som en upersonlig e-mail fra et mail-surveysystem. Det fortæller mig, at den sandsynligvis er sendt ud til alle tilmeldte deltagere efter ’spredehaglsmetoden’. Det virker som et sjusket metodevalg, fordi der er forskel på at købe en billet og på at deltage. Afsenderen er altså sjusket med at vælge sine kilder.
2. Afsenderen er sløset med indsamling af data
Jeg tænker, at når afsenderen vælger, at spørgsmålet skal besvares med en enkelt afkrydsning, så søger han kvantitative data, som er forholdsvist let at lave statistik på. Men det er altså statistik, som ikke hjælper ham blive klogere på det forholdsvist komplicerede: ”Hvilken præsentation syntes du bedst om?”. Afsenderen er altså også sløset med, hvilke data han indsamler.
3. Jeg kan ikke besvare spørgsmålene
Formuleringen af spørgsmål 1 forudsætter, at jeg faktisk har set alle præsentationerne, men faktum er, at jeg udvandrede midt i præsentation 2. Jeg kan derfor ikke besvare spørgsmålet. At afsenderen tilsyneladende er blind for den uhensigtsmæssige præmis for spørgsmål 1 giver mig dårligt forudanelser for kvaliteten af hele evalueringsdesignet. Men det bliver værre. Fordi…
4. Jeg kan ikke springe spørgsmål over
Jeg kan slet ikke springe spørgsmålet over, fordi den, der har designet spørgeskemaet, har valgt at registrere mine svar med check-bokse, og betinge, at jeg kun kan klikke videre, hvis jeg har leveret input. Valget står mellem at udfylde et bevidst misvisende svar eller droppe hele spørgeskemaet.
Jeg gør det sidste, fordi konklusionen må være, at der er tale om en evalueringsindsats som ikke kommer til at levere skyggen af brugbar information, der kan hjælpe afsenderen gøre fremtidige konferencer bedre.
Først fokus, dernæst kilder, så metodevalg
I denne artikel fortsætter vi ’samtalen’ om god evalueringspraksis. Hvis du ikke har læst den første artikel (5 fatale fejl i din evalueringspraksis), kan du med fordel starte der, og få inspiration til vigtige overvejelser, som kommer før valget af indsamlings- og analysemetoder.
Det er spørgsmål som:
- Hvad er interessant at undersøge i din hverdag?
- Hvorfor?
- Hvilke parametre kan hjælpe dig med at blive klogere?
- Hvilke kilder til data du har adgang til?
I denne artikel kigger vi på, hvordan du skærper undersøgelsens fokus, vælger dine kilder og tager hul på selve valget af metode til indsamling af data.
Lad os samle ’samtalen’ op, hvor vi slap den:
MN: Har du egentlig overvejet, hvad du vil bruge svarene på dine spørgsmål til?
Læseren: Altså, hvis deltagerne ikke vil anbefale mig efterfølgende, så vil jeg gerne vide, hvad vi skal justere … Og jeg vil da også gerne vide, hvad vi gør godt… Og jeg kunne også godt bruge et godt citat til vores hjemmesiden.
MN: Du startede med at sige, at du var interesseret i, om deltagerne vil anbefale dig efter konferencen. Men selvfølgelig er du interesseret i at vide, hvad du kan justere. Derfor skal du ikke bare undersøge ’om’, men også ’hvorfor’. Derudover vil du gerne ha’ ’et godt citat’ til hjemmesiden.
Til din situation ville jeg overveje at benytte et evalueringspanel af udvalgte deltagere, som kan give detaljerede svar. Og så kommer vi automatisk ind på næste udfordring: at du skal finde ud af, hvornår der skal indsamles data.
Læseren : Vi plejer at spørge til sidst, måske bruge de sidste 10 minutter på evaluering.
MN: Det er en ret almindelig valg, men det er ikke altid klogt. Du misser spontane observationer og tanker, som opstår under konferencen, men er glemt til slut. Hvorfor ikke spørge undervejs?
Læseren: Så får jeg jo ikke det hele med!
MN: Du får aldrig nogensinde ’det hele’ med. For at kunne besvare dit spørgsmål om, hvorfor deltageren vil anbefale dig, skal du have det, man kalder ’rich data’, altså data, som har en masse nuancer. Og så må du acceptere, at du arbejder med mennesker – og vi er ikke særligt gode til at huske. Du får altså det med, som er mest tydeligt på lystavlen i det øjeblik du spørger. Ikke en komplet analyse af samtlige aspekter ved hele dit to-dags arrangement. Det er ikke noget, man ordner på vej ud af døren.
Læseren: Jeg er heller ikke ude efter en detaljeret analyse af alle konferencens elementer, men jeg har brug for at forstå, hvilke elementer der tilfører konferencen værdi, og hvilke der ikke gør.
MN: Der er masser af svar at hente både før, under og efter din konference, og du kan med fordel evaluere alle tidspunkter. Men det er ikke ligegyldigt, hvilke kilder du bruger. En arkitekt vil for eksempel hurtigt kunne kigge på rum og indretning og vurdere, hvordan det understøtter, at man møder og taler med andre. Det gør I måske allerede nu, og det er jo en evaluering. En didaktiker vil kunne gennemgå programmet og komme med input til, hvordan det bedst understøtter refleksion og hukommelse i den enkelte deltagers hjerne. En fagkollega kan vurdere oplægsholdernes faglige niveau. Sådanne ekspertevalueringer kan man sagtens lave før konferencen, men man beder selvsagt ikke konferencedeltagerne vurdere den slags. Du skal være kritisk med, hvilke kilder du får din data fra.
En meget almindelig fejl er at spørge ’almindelige mennesker’ om alt muligt, som de ikke har en jordisk chance for at give et begavet svar på. Det er spild af dine penge og deres tid.
Læseren: Jeg plejer at sende digitale spørgeskemaer til deltagerne efter konferencen. Er det så en dårlig ide?
MN: Det er virkelig svært at lave gode spørgeskemaer, og det er sjældent jeg støder på dem. De er gode til at samle data, som ’køn’, alder’, bopæl’ og den slags, som er let at formulere et klart svar på. Men det er ikke den slags svar, du er interesseret i. Det er det sjældent. Hvis vi skal prøve at få svar på det, som du er interesseret i, skal vi kigge på andre dataindsamlingsmetoder. Det gør vi næste gang. Indtil da skal du grundigt overveje de tre nye punkter vi har føjet til listen over opmærksomhedspunkter.
Fokuspunkter, når du laver evalueringsdesign
- Hvad er interessant at undersøge i din hverdag?
- Hvorfor?
- Hvilke parametre kan hjælpe dig med at blive klogere?
- Hvilke kilder til data du har adgang til?
Og de nye:
- Hvad skal dine svar bruges til? Hvis du har brug for citater til hjemmesiden, skal du bruge data med detaljer.
- Hvornår skal du indsamle for at få værdifulde data?
- Hvad kan deltagerne realistisk levere viden om, og hvad bør overlades til eksperter?
Næste gang kigger vi på forskellen på kvalitative og kvantitative data, og på metoder som måske er at foretrække frem for det sædvanlige spørgeskema som sendes ud efter konferencen.
