Derfor bør vi formulere nogle tommelfingerregler for værdifulde konferencer – Del 3

5 fatale fejl i din evalueringspraksis – Del 1

Modtager du håbløse evalueringsskemaer? – Del 2

Som censor ved flere af de danske universiteter ser jeg mange forsøg på evalueringsdesign. Jeg ser også masser af fejl, når studerende forsøger at underbygge værdien af deres arbejder med resultater fra disse evalueringer. Fejl, som i de milde tilfælde betyder, at arbejdsressourcerne er tabt, og i mere alvorlige tilfælde er direkte misvisende. Det er de, fordi de metoder, der er anvendt, ikke kan indsamle en type data, som hjælper med at give svar på det, de studerende vil undersøge.

I denne artikel fortsætter vi ’samtalen’ om god praksis, når man planlægger evalueringer.

Data med eller uden mange detaljer

MN: Du ved sikkert, at der findes både kvalitativt og kvantitativt data. Kvalitativt data er data, der er rig på nuancer, og er resultatet af for eksempel fokusgrupper, interviews, anmeldelser og observationer. Kvantitativt data er lettere at sammenligne umiddelbart, fordi udfaldet af data er begrænset til for eksempel afkrydsningsfelter i et spørgeskema, blodets iltprocent eller et tal fra en Likert skala.

En almindelig fejl er at tro, at kvantitative data er lettere at anvende, fordi de virker nemme at opsummere og lave statistisk analyse på. Det er lodret forkert.

Hvis ikke du er hjemme i, hvad statistikord som a-nova, manova og t-test betyder, så skal du sandsynligvis holde dig fra at indsamle kvantitativt data. Ikke fordi data er ubrugeligt, men fordi du ikke kan analysere det korrekt, sådan at data reelt belyser det, du vil undersøge. Tal er besnærende, men i 72.8% af alle tilfælde bliver de anvendt forkert og uden fornuftigt datagrundlag.

Læseren: Skal jeg så til at interviewe deltagerne på konferencen? Det tager jo for evig at transskribere, og det har vi slet ikke ressourcer til.

MN: Nu hopper du igen til analysemetoderne. Dem vil jeg gerne parkere til næste gang. Men, ja, interview er en metode til at indsamle kvalitativt data på. Du kan spørge dine konferencedeltagere og gradvis bede dem uddybe og sætte nuancer på det, du ønsker at vide noget om. Men, hvis de svar du ønsker, kræver dybere refleksion og analyse bør du overveje at interviewe i grupper – for eksempel fokusgrupper – fordi dine deltagere kan hjælpe hinanden med at tænke og formulere holdninger.

Hvis vi kigger på andre klassiske etnografiske metoder, er observationer også gode til at levere kvalitative data. Observationer af kropssprog kan for eksempel sige noget om deltagernes engagement i en undervisningssituation. Observationer af deltagernes færden i pauserne kan sige noget om, hvorvidt de fysiske rammer understøtter eller hindrer social interaktion. Spørgsmål du altid skal overveje, når du bruger observation som metode til at indsamle data, er

a) hvem der skal observere
b) om de også selv deltager
c) om de, der bliver observeret, ved det.

Men der er som udgangspunkt ikke noget problem i, at du giver 10 deltagere en ekstra opgave, der går ud på, at de skal observere ting, der virker, og ting, der skal forbedres i løbet af konferencen, og bagefter desuden formulere tre udsagn, som du kan bruge som citat på din hjemmeside.

Indsigter baseret på heuristikker

Læseren: Det lyder som noget, der er lidt svært at kontrollere. Kan man forvente, at de leverer noget i ordentlig kvalitet?

MN: Nej, det er en god pointe. Med mindre du har en stærk relation til dine observanter, kan du ikke regne med, at de vender tilbage med noget brugbart. Så du bør overveje, om du kan forpligte dem på én eller anden måde. Det kan være med et regulært honorar eller med oplevelsen af, at deres mening er vigtig for dig.

Men SKAL det være deltagere, som evaluerer din konference?

Læseren: Jae, det er jo vigtigt, at det er folk, som har været til stede, ellers ved de jo ikke, hvad de skal evaluere.

MN: Jeg vil faktisk tro, at du selv – eventuelt med hjælp fra et deltagerpanel og et ekspertpanel – kan få den mest værdifulde evaluering for pengene ved at benytte dig af nogle fastlagte heuristikker. Det gør man i mange andre fag, for eksempel indenfor evaluering af arkitektur eller software.

Læseren: Heuristikker, det har jeg aldrig hørt om. Hvordan gør man det?

MN: Heuristik betyder ’tommelfingerregel’, så en heuristisk evaluering betyder, at man vurderer, hvor godt noget lever op til en række på forhånd definerede retningslinjer. Når man evaluerer brugervenligheden af software, vil man for eksempel altid kigge på, om programmet svarer på det, brugeren gør. Hvis webshoppen ikke svarer: ”Din ordre er gennemført. Tak for din bestilling!”, når du klikker på: ”Betal”, så lever den ikke op til heuristikken om, at gode systemer giver feedback til brugeren.

Et godt sæt heuristikker betyder, at folk som ikke er domæneeksperter faktisk kan udføre temmelig værdifulde evalueringer uden det store besvær.

 

Læseren: Og hvor får jeg heuristikkerne fra? Laver jeg selv dem?

MN: Nej. For at din evaluering skal være troværdig, bør du benytte heuristikker som for eksempel er en standard for den industri, du arbejder i. Normalt har man eksperter og forskere, som formulerer en række tommelfingerregler, som andre efterfølgende kan bruge som retningslinjer for evaluering og design. Det kunne mødeindustrien også gøre. Det vil gøre det lettere for jeres kunder at vurdere, hvad de får, og det vil gøre det lettere for jer, udbyderne, at fortælle om værdien af jeres produkter i et sammenligneligt sprog.

Læseren: Kan du give nogle eksempler?

MN: Fornuftige heuristikker for en konference af den genre, som du arbejder med, kan være:

– ”Der er formuleret klare mål for arrangementet. Det er tydeligt, hvordan de enkelte aktiviteter og udgifter relaterer sig til målene.”

– ”Der bliver tydeligt samlet op på læringspointer undervejs på en måde som sikrer at ny viden lagres i deltagernes hukommelse.”

– ”Arkitekturen programmerer med sin indretning og atmosfære deltagerne til en adfærd, der er i tråd med målene for arrangementet.”

Læseren: Og hvordan måler man så på det?

MN: Man måler ikke. Man beskriver, hvilke designvalg der støtter op om den enkelte heuristik, og på den måde får man en beskrivelse eller anmeldelse af arrangementet, som er værdiladet, og derfor mere nuanceret data end ”65.3% har sat X i afkrydsningsfeltet: ’Jeg lærte noget nyt’”.

Læseren: Det lyder interessant, men lige nu har vi jo ingen heuristikker, så hvad gør jeg så? Jeg kunne godt invitere en gruppe deltagere til at observere og rapportere i løbet af konferencen, og bagefter komme ind til en fokusgruppe … men jeg ved ikke rigtig, hvordan jeg skal indsamle og behandle de informationer, som kommer ud af det.

MN: Lad os kigge på metoder til analyse af data næste gang. Jeg lover, at du ikke skal transskribere lange interviews eller lave interaktionsanalyse af video. Det er ikke realistisk med de ressourcer, du har til rådighed, så vi finder en pragmatisk løsning.

Indtil da bør du tænke over, hvordan du kan hjælpe deltagernes lave brugbare observationer, og hvordan du vil skubbe til samtalen i din fokusgruppe. Du har nogle ret konkrete spørgsmål, du gerne vil have undersøgt, og det er dit ansvar at støtte deltagernes arbejde, så det ikke kører af sporet.

Inden vi næste gang kigger på metoder til analyse af data, summerer vi lige op på, hvad der er tilføjet listen at opmærksomhedspunkter fra sidst:

Opmærksomhedspunkter når du laver evalueringsdesign

• Hvad er interessant at undersøge i din hverdag?
• Hvorfor?
• Hvilke parametre kan hjælpe dig med at blive klogere?
• Hvilke kilder til data du har adgang til?
• Hvad skal dine svar bruges til? Hvis du har brug for citater til hjemmesiden skal du så bruge data med detaljer?
• Hvornår skal du indsamle for at få værdifulde data?
• Hvad kan deltagerne realistisk levere viden om, og hvad bør overlades til eksperter?

Og de nye:

• Vil kvalitative eller kvantitative data bedst hjælpe mig med at blive klogere?
• Er det, jeg undersøger så komplekst, at jeg bør overveje andre metoder end spørgeskema – for eksempel selv at lave en heuristisk evaluering, oprette et deltager/ekspertpanel eller samle data med observationer?