Så skal resultaterne høstes af din evaluering – er du klar til opgaven?

Du er nået ved vejs ende, og frugten af alt dit arbejde skal høstes: RESULTATERNE!

Nu skal dine velovervejede spørgsmål besvares, og du skal have mindst to Heureka-øjeblikke på områder, du slet ikke vidste, du kunne blive klogere på.

Bortset fra, at arbejdet endnu ikke er slut. Det, du står med, er data – ikke konklusioner. Det, du står overfor, er analysen.

Dette er sidste afsnit i min serie om evalueringsdesign i mødeindustrien.

Vi fortsætter ’samtalen’ mellem mentor (MN) og lærling (Læseren). Har du ikke læst de foregående artikler, så klik her for at blive klogere på:

Hvordan man formulerer værdifulde spørgsmål (Del 1)
Hvilke typer data hjælper dig besvare dine spørgsmål (Del 2)
Overvejelser om dataindsamlingsmetoder (Del 3)

Lad os fortsætte hvor vi slap:

Analyse: Sortering, prioritering OG Fortolkning

MN: Alt efter, hvilke metoder du har brugt til at indsamle data, står du nu med en (sandsynligvis uoverskuelig) mængde fotos, video, tekstnoter, post-its, lydoptagelser, skitser og spørgeskemaer. Din opgave er nu at analysere al den data, og det gør du ved at organisere den på måder, der giver mening.

Læseren: Hvad mener du med ’mening’?

MN: Jeg mener mening for dig i forbindelse med det, du vil undersøge. Ikke mening for en kognitiv psykolog i 1890’erne eller en arkitekt som tegner lamper. Dig i din kontekst.

’Mening’ er det, der hjælper dig til at besvare de spørgsmål, du formulerede i starten af dit evalueringsdesign. Hvis du har gjort et dårligt arbejde her, står du nu med lidt af et problem … For hvis man ikke ved, hvad man vil undersøge, hvordan kan man så sortere den vigtige data fra den ligegyldige?

Vi har tidligere talt om, hvordan du med stor sandsynlighed bør gå efter kvalitativ data, altså data, der er rig på nuancer. Nu skal du til at kigge på de nuancer, og det involverer sortering, prioritering og fortolkning.

Læseren: Jeg tror nu gerne, at min chef vil have noget lidt mere fakta-orienteret end ’fortolkning’. Hun vil nok hellere have nogle tal og diagrammer.

MN: Men statistik er også en fortolkning. Det er en fortolkning, som ofte ender i et pænt tal, men det tal er resultatet af de beregningsmetoder du bruger, den rækkefølge du bruger dem i, og de data du vælger at bruge dem på.

Der er ikke noget synderligt ’objektivt’ og ’hard science’ over statistik. Men tal har en naturlig autoritet, som mange bliver forelsket i, og din opgave er at præsentere resultater, som har en lige så stor autoritet, fordi du har lavet en troværdig analyse af dine kvalitative data.

Læseren: Så jeg gør mine fortolkninger troværdige med min analyse. Men hvordan i praksis …?

MN: En almindelig metode er at bruge affinitetsdiagrammering. Altså at gruppere data efter deres indbyrdes relationer.
Du har måske været med til at sortere ideer skrevet på post-its på en væg. Tit gør man det, at man sætter ideer, der minder om hinanden, sammen i grupper, og på den måde etablerer nogle temaer. Ulempen ved post-its er, at de fysisk kun kan være i én gruppe ad gangen. Men ofte vil indholdet, som er skrevet på sedlen, være relevant for flere grupper.
En observation om frokosten kan for eksempel være relevant for grupperne ”fysiske organisering af rummet omkring buffeten”, ”længden og rytmen i pauserne”, og ”mulighederne for social interaktion med nye mennesker”.

Så når du skal lave et relationsdiagram i praksis, skal du kopiere din fysiske dokumentation sådan, at den samme databid kan figurere i flere grupper samtidigt (hvis du ikke har så megen data og arbejder på en væg). Med mindre der er meget lidt dokumentation vil man i dag digitalisere data og kode den i egnet software, men da dette ikke er en værktøjsgennemgang, holder vi os til de simple eksempler.

Drop forestillingen om det ’korrekte’ laboratorieforsøg

Læseren: Hvis det bare er mig, der bestemmer grupperne, er der så ikke en chance for, at jeg overser noget?

MN: Ja, det er i princippet dig, der ’opfinder’ grupperne. Derfor er det en god idé at lave analysen sammen med nogen og se arbejdet som en anledning til at diskutere, hvordan data kan forstås, hvad det kan hjælpe jer med at forstå. På den måde får I forhandlet fortolkninger af løbende.

’Løbende’ er kodeordet her, for måske skal I ud for at hente mere data, fordi I får et af de der ”Heureka-det havde vi dælme ikke tænkt på”-øjeblikke. Vær ikke bange for at samle mere data ind, hvis I opdager et hul i jeres viden. Det er ofte hele pointen med analysedelen at få inspiration til, hvor man skal grave videre og stille flere spørgsmål.

Læseren: Jeg synes stadig, at det er svært at forstå, hvordan man starter med at formulere grupper. Det virker jo helt tilfældigt. Hvis de var formuleret i forvejen, var det ikke så svært at kigge på datamaterialet og vurdere, hvilke databidder der kunne være relevant at gruppere i den ene og den anden gruppe.

MN: Jamen, det ER lidt angstprovokerende at spille ud med de første grupperinger. Det føles jo meget definitivt. Men analyse er altså en iterativ proces, hvor man hele tiden sammenligner, slår grupper sammen, ændrer ordlyden og så videre. Men måske er det lettere for dig at tænke i at gruppere data efter hypoteser. Tidligere sagde du, at du blandt andet var interesseret i at undersøge, om og hvorfor kunden vil anbefale dig til andre. Kan du udvikle nogle hypoteser om, hvad der er udslagsgivende for om de gør det?

Læseren: Hvis kunden gør noget ekstraordinært for at fortælle os, at vi har gjort det godt. Eller hvis vi har haft en god personlig kontakt undervejs.

MN: Du kan godt lede i data efter informationer der be- eller afkræfter en eller flere hypoteser. Chancen for, at data belyser ens hypoteser, er selvfølgelig størst, hvis man har formuleret sine hypoteser, før man samler data ind, men det vil altid ske, at nye dukker op, når man kigger på dokumentationen.

Ny viden med rødderne plantet i data

Læseren: På mange områder synes jeg, det er svært at have hypoteser. Jeg kan simpelthen ikke finde på nogen. Hvad gør man så?

MN: Man kan også gøre det modsatte: Du kan kode de ideer og temaer, du kan læse i datamaterialet, og fortsætte kodningen, mens du samler mere data ind. På den måde vil første dataindsamling påvirke og informere den næste, og så videre. Det er fremgangsmåden i Grounded Theory. Metoden er almindelig i socialvidenskaberne og betyder, at ny teori – i vores eksempel en ny forståelse af sammenhængen mellem jeres event og kundens tilfredshed – opstår med rødderne solidt plantet i data. Frem for – som det nogen gange er tilfældet – med rødderne plantet i fri spekulation.

Læseren: Det er slet ikke realistisk, at vi kan lave evalueringer, som kører over flere dataindsamlingsrunder! Det har vi overhovedet ikke tid og budget til.

MN: Det er rigtigt, at Grounded Theory er tungt at arbejde med, og i evalueringen af en enkelt event er jeg helt enig i, at byrden er urealistisk. MEN må man foreslå en blanding af de to fremgangsmåder?
Noget kodning af data tager udgangspunkt i hypoteser, mens emner, der på andre måder springer i øjnene, også bliver kodet i en gruppe.
Måske hedder den gruppe bare ’Det lyder interessant’ i starten. Det gør mine tit. Men hvis du har indholdet af ’Det lyder interessant’ i baghovedet næste gang, du laver en evaluering, så vil nye temaer og spørgsmål snige sig med her og resultere i mere data, som kan kodes i ’Det lyder interessant’. Med tiden kan du bryde gruppen op og lave mere analyse på indholdet og lære en masse nyt, som kun kan ses på tværs af dine events.

Læseren: Men det gør jeg vel på en måde allerede, altså samler inspiration og viden på tværs af events.

MN: Det vil jeg vædde på, at du allerede gør! Du gør det bare ikke struktureret, og du glemmer at dokumentere det. Derfor kan du heller ikke bakke dine indsigter op med andet end ’Det er min mavefornemmelse efter x-antal år i branchen’. Det overbeviser ikke ret mange, når det kommer til forretningsudvikling og potentielle store investeringer.
Det er derfor, at du skal huske, at din analyse har to formål.

1. at levere ny viden og inspiration
2. at dokumentere, at du har arbejdet systematisk med at sortere, prioritere og fortolke data sådan, at punkt 1 har størst mulig autoritet og tyngde.

Så er al bøvlet nemlig alle pengene værd!

Huskeliste når du laver evalueringsdesign

Inden vi sætter punktum for serien om evalueringsdesign, så lad os

opsummere listen over alle de opmærksomhedspunkter, vi har gennemgået i de fire artikler:

• Spørg dig selv, hvad er interessant at undersøge i din hverdag?
• Hvorfor?
• Hvilke parametre kan hjælpe dig med at blive klogere?
• Hvilke kilder til data, du har adgang til?
• Hvad skal dine svar bruges til? Hvis du har brug for citater til hjemmesiden skal du bruge data med detaljeret tekst, for eksempel.
• Hvornår skal du indsamle for at få værdifulde data?
• Hvad kan deltagerne realistisk levere viden om, og hvad bør overlades til eksperter?
• Vil kvalitative eller kvantitative data bedst hjælpe mig med at blive klogere?
• Er det, du undersøger så komplekst, at du bør overveje andre metoder end spørgeskema, for eksempel selv at lave en heuristisk evaluering, oprette et deltager/ekspertpanel eller samle data med observationer?
• Kod dine databidder sådan, at du let kan samle den data, der er relevant for forskellige spørgsmål
• Vær ikke bange for at kombinere kodning efter emner, der belyser specifikke hypoteser, men husk også at notere interessante informationer, som du slet ikke havde nogen forudanelse om. På den måde hjælper du dig selv med at dokumentere din viden, og du kan senere booste din ’mavefornemmelse’ med den autoritet, der følger med en veludført analyse.