Du bruger de forkerte kilder til at indsamle de forkerte data med de forkerte metoder på det forkerte tidspunkt. Og så har du plukket svar efter forgodtbefindende i stedet for at analysere resultaterne.
Din evaluering er værdiløs!
Citatet har jeg fundet på, men det opsummerer de fem mest almindelige fejl i evalueringspraksis og kunne sådan set godt være noget, der blev sagt ved eksamensbordet i disse dage.
Som censor på de danske universiteter befinder jeg mig ofte i faglige diskussioner om kvaliteten af de ideer, processer og produkter, vi ser ved eksamensbordet. Ikke overraskende er evalueringer en stor del denne fagdiskussion. Hvordan får man svar på sine spørgsmål? Og hvilke spørgsmål er reelt værdifulde for det videre arbejde?
Et spørgsmål som flere kæmper med er, hvordan man laver brugbare evalueringer i mødeindustrien? Fra alle kanter bliver vi mødt med kravet om at sætte værdi på – for eksempel kurser, konferencer eller services. Holder de hvad de lover? Får deltagerne noget for pengene? Oplever deltagerne, at deres tid har været godt brugt?
Realistisk evalueringsdesign for små ressourcer
I denne artikelserie vil jeg hjælpe læseren igennem de overvejelser, man bør gøre sig, når man planlægger et evalueringsstudie. Det vil jeg gøre, fordi jeg for mange år siden skrev en Ph.D. om evalueringsmetoder, og fordi emnet bliver ved med at dukke op i min hverdag – for eksempel når jeg har været på konference, eller når mine kursus- og foredragsarrangører prøver at finde ud af, om jeg skræmmer kunderne væk.
Serien er tænkt til at føre dig – den mødeprofessionelle – igennem centrale overvejelser, når du skal lave evalueringer:
- Hvad vil du vide noget om?
- Hvilke input kan hjælpe dig med at besvare ovenstående?
- Hvorfor evaluerer du – hvad skal svaret bruges til?
- Hvilke kilder beder du om input?
- Hvilken type input beder du om?
- Hvornår indsamles data?
- Hvordan indsamles data?
- Hvordan analyserer du data, så du kan få svar på dit spørgsmål?
Serien er skrevet til mødeindustrien, så vi kommer ikke til at gennemgå evalueringer, som man ville lave dem i et videnskabeligt forsøg, eller som involverer et urealistisk ressourceforbrug, som for eksempel at overvåge hjerneaktiviteten på alle mødedeltagerne.
I jeres verden er der nemlig sjældent afsat ressourcer til at foretage dataindsamling og analyse. Det er selvfølgelig også derfor, at jeg som deltager på kurser og konferencer bliver mødt med åndssvage spørgeskemaer, der beder mig vurdere Sebastian Kleins faglige niveau eller spørger, om jeg er tilfreds med ’stedet’.
Heldigvis kan du forholdsvis let indsamle mere værdifuld viden, så lad os kaste os ud i det.
Hvad vil du gerne have svar på?
Jeg har taget mig den frihed at opfinde en Q&A-session med en læser, som har et aktuelt behov, fordi jeg gerne vil kunne bruge konkrete og relevante eksempler fra jeres hverdag. Samtalen er modelleret over de mange samtaler, jeg har haft med studerende, som godt ved, at de skal evaluere deres arbejde, men som hverken har aktiviteten som deres primære kompetence, eller kan bruge en masse ressourcer på dataindsamling og analyse:
Læseren: Jeg er blevet bedt om at lave en evaluering af vores konference. Hvordan gør man egentlig det?
MN: Når vi taler om ‘evaluering’, så mener vi oftest en “vurdering eller beskrivelse af kvaliteten af et eller andet” f.eks. en konference. Det lyder besnærende let, og derfor ender mange med et resultat i omegnen af ‘den er sårn udmærketfintak!’. Hvad kan det svar bruges til? Der er absolut ingen viden, man kan handle på i sådan et svar, og derfor er det ikke noget værd. Tillad mig at spørge dig: Hvad er det mere præcist, du gerne vil vide efter din evaluering?
Læseren: Jeg vil gerne vide, om kunden er glad, og om folk har haft en god oplevelse.
MN: Hvorfor dog det? Har de ikke allerede betalt?
Læseren: Jo, men vi vil jo gerne vide, om de er tilfredse, om de har nået deres mål og vil anbefale os til andre.
MN: Bingo! Kan du se, hvordan du flyttede dit fokus fra et fluffy: ‘kunden er glad’ til et konkret: ‘De har nået deres mål’ og ‘De vil anbefale mig til andre’. Første trin er altså, at du bliver knivskarp på, hvad du vil lære af en evaluering.
Læseren: O.k. Jeg vil gerne kunne vise, at/om de har nået deres mål. Jeg vil gerne vide, om de efterfølgende vil anbefale mig til andre. Hvordan finder jeg ud af det på en overbevisende måde?
MN: Du sikrer dig, at der er formuleret klare mål for konferencen. Samtidigt med at I formulerer målene for konferencen, så begynder du at lave dit evalueringsdesign. På den måde sikrer du, at I beskriver mål, som rent faktisk kan evalueres med de ressourcer, I har til rådighed. Ofte er målene nemlig håbløst uspecifikke og næsten umulige at evaluere succesen af, og den situation vil du ikke stå i.
Læseren: Ifølge kunden er målet at skabe videndeling og at knytte faglige bånd imellem afdelinger.
MN: Det er ikke de mest klare mål i verdenshistorien, men lad os kigge vi på parametrene …
Klare parametre skærper dit fokus
MN: Hvad kan være tegn på, at man har lært noget/delt viden? Hvad er tegn på, at man har knyttet faglige bånd?
Læseren: Men kan vi ikke bare spørge folk om det, når de går hjem? Om de har lært noget, og om de vil anbefale os? Det plejer vi altså.
MN: Du plejer at bede folk, der er på vej hjem fra en konference, om at analysere deres interaktion og hjernevirksomhed over de seneste syv timer? Du vil gerne have de beskriver svaret med et kryds imellem en sur og en glad smiley? Den går altså ikke, hvis du mener det seriøst. Hvad med de der parametre, jeg spurgte til?
Læseren: Tegn på at man har lært noget eller delt viden kunne vel være, at man har deltaget i foredrag, eller at man har skrevet mange noter, eller at man har fået en ny ide…?
MN: Ja, for eksempel. Hvilke tegn kan der være på, at man har knyttet faglige bånd?
Læseren: At man har talt med nogle nye mennesker, at man har udvekslet visitkort.
MN: Nemlig … det tager dig ikke lang tid at prikke 20 mennesker på skulderen til frokosten og spørge, hvor mange nye mennesker de har talt med? Eller regne ud at med N antal summeøvelser i løbet af programmet, så har hver deltager talt med cirka så mange nye mennesker.
Læseren: Men er det MIG, der skal gøre det?
MN: Ja, hvorfor ikke? Når man evaluerer kan data komme fra forskellige kilder. Den mest dovne er selvfølgelig bare at bede deltagerne selv lave alt arbejdet, men hvorfor skulle de helt ærligt bruge tid på at hjælpe dig med at udføre dit arbejde? Får de noget igen?
Det er langt fra altid en fordel at bede deltagerne levere data selv
MN: Normalt når man laver evalueringer, overvejer man meget nøje, hvem der skal levere data. Helt konkret kan du enten få data fra deltageren selv eller få data fra andre. Vi snakker ikke hvordan, bare hvem der indsamler data. ‘De andre’ kan være alt fra lægmænd til fageksperter, alt efter hvilken type vurdering du ønsker. ‘De andre’ tæller i øvrigt også overvågningsmekanismer på internettet, som indsamler og analyserer data om deltagernes adfærd i både den digitale og den fysiske verden.
Læseren: Altså, det kunne da også være et tegn på, at man har netværket, at man på konferencen har fået nye venner på Facebook eller LinkedIn – det kan man da også tælle. Eller hvor mange Twitter-tråde med konferencens hashtag, man har været aktiv i!
MN: Ja, men det er lidt dyrt og kompliceret at få Google og Facebook til at rykke ud med den slags oplysninger om dine deltagere. Men du kunne bede 20 af dem deltage i et evalueringspanel, hvor de rapporterer den slags viden og hjælper dig med at få detaljeret data.
Læseren: Kan man få folk til det? Det lugter da lidt af gratis arbejde?
MN: Mennesker gider ikke blive spammet af ansigtsløse konferencefolk med åndssvage spørgsmål. Mennesker gider godt blive taget alvorligt og lyttet til. Men hvis de skal lave et reelt stykke arbejde, skal du da give dem noget for det.
Læseren: Men 20 mennesker er jo ikke særligt meget. Er det ikke bedre at få alle til at svare, så man har en høj svarprocent.
MN: En høj svarprocent siger intet om kvaliteten af data. Den mest almindelige og dyreste fejl på evalueringer som din er at sigte på at få en højt svarprocent. Hvis du vil have data, som er andet en ’nå’, så skal du droppe målet om at samtlige deltagere på konferencen leverer data. I din situation ville jeg til hver en tid vælge 20 menneskers grundige data frem for 500 menneskers afkrydsninger af 5 overfladiske spørgsmål.
Dette var første del af serien om professionelt evalueringsdesign. I næste artikel skal vi se mere på potentialet for kvalitativ og kvantitativ data samt på metoder til dataindsamling og analyse.
Indtil da kan du med fordel skærpe dit øje for
- hvad der kunne være interessant at undersøge i din hverdag,
- hvorfor,
- hvilke parametre der kunne hjælpe dig med at blive klogere, og
- hvilke kilder til data du har adgang til.
