Evaluering

Evalueringer kan have utallige formål, formater og størrelser.

Med målet om at inspirere jer, der ønsker at arbejde med evaluering på en mere værdiskabende måde, har vi udviklet en evalueringsguide med fokus på:

• Evalueringens anvendelse: Hvem skal bruge evalueringen og til hvad?
• At indarbejde evaluering i selve projektudviklingen og undervejs i projektet, så evalueringen kan være med til at styrke projekternes mål.
• Kommunikation og videndeling: At arbejde målrettet med, at evalueringer skal føre til læring, der kan bruges af andre; og hvordan man når ud med den opnåede læring.

Guiden præsenterer dig for tre evalueringsmodeller og syv refleksionsspørgsmål, der kan styrke jer i arbejdet med evaluering.

Her på siden folder vi guiden ud, men den kan også downloades som printvenlig pdf.

Download evalueringsguide

Evaluering er tæt forbundet med forankring. Find inspiration her.

En evaluering skal designes og skræddersys, så den passer til projektet. En god forståelse for projektets natur bør derfor være afsættet for at udarbejde et evalueringsdesign.

Hvis et projekt primært skal udbrede en metode, som tidligere har demonstreret sin værdi, skal evalueringen fokusere på udbredelsen og ikke selve metoden. Metoden kan derimod være genstand for evalueringen af et udviklingsprojekt.

I evalueringssammenhæng er det nyttigt at forholde sig til projektets udviklingsstadie, som man kan inddele i tre arketyper, men som ofte forekommer i forskellige blandingsformer:

Pilot- eller forprojekt

Pilot- eller forprojekt igangsættes for at afprøve en idé, ny metode eller projektmodel i mindre skala og med få deltagere. Design- eller implementeringsfejl kan på den måde opdages, før projektmodellen udrulles i større skala. Der vil sjældent kun være kvantitative succeskriterier for resultatskabelse for denne projekttype. 

Udviklingsprojekter

Udviklingsprojekter bygger på klare formodninger, erfaringer eller måske evidens for, at projektets aktiviteter kan skabe en ønsket forandring. Der er behov for udvikling og videre afprøvning af projektets virkemidler. Typisk vil man opstille projektmål for projektet. Udviklingsprojekter kan bygge videre på forprojekter, men kan også iværksættes uden.

Udbredelsesprojekter

Udbredelsesprojekter bygger på en afprøvet projektmodel, der har demonstreret en værdiskabelse for målgruppen. Fokus er her at udbrede tilbud til en eller flere målgrupper i en bredere kontekst og sikre en bredere forankring – geografisk, ift. nye institutioner, udvidelse af målgruppen m.v.

Står formålet med din projektevaluering lige så knivskarpt for dig og projektets partnere som formålet med jeres projekt?

Hvordan skal evalueringen bidrage til at bringe projektets aktiviteter, projektets deltagere, din organisation eller partnerskaberne videre – under eller efter projektet?

Dette er vigtigt at overveje, fordi det er grundlaget for at formulere gode evalueringsspørgsmål, som evalueringen skal svare på – og dermed sætte en retning for evalueringen og sikre, at den tilfører relevant værdi.

Afklar hvem og hvad

Evalueringer bruges typisk mest, når de inddrager brugernes interesser, formål og behov. Hvordan understøtter man det?

Hvem

Afklar HVEM, der primært skal/kan have nytte af indsigter fra evalueringen – der kan godt være flere. 

Hvis du har refleksioner eller planer om, at aktiviteter, resultater, metoder, viden eller andet skal forankres efter projektperioden, så overvej hvem denne forankring skal ske hos – og om denne eller disse organisationer kan have interesse i indsigter fra evalueringen. Involvering af disse aktører i evalueringen kan ofte være en god måde at involvere dem tidligt i forankringen af dele af projektet.

Hvad

Afklar HVAD brugerne ønsker at få ud af evalueringen, hvilket er den bedste måde at blive tydelig om evalueringens anvendelse. De primære brugere har måske behov for løbende feedback til forbedring af indsatsen, dokumentation af projektets værdiskabelse, eller input til videreførelse af partnerskaber; mens de sekundære brugere måske primært er interesserede i erfaringer med f.eks. projektets virkemidler eller organiseringsmodel.

Spørg dem – og omsæt deres behov til evalueringsspørgsmål. Dvs. formulering af nogle få, centrale spørgsmål, som evalueringen skal bruges til at besvare.

Måske har I en ambition for projektet om at skabe en blivende, langsigtet effekt på samfundet. I praksis tager jeres projekt dog nok blot et par skridt på vejen mod disse effekter (som i sidste ende påvirkes af mange forskellige ting). Data i en evaluering skal især bidrage til at belyse og måske måle disse skridt.

Hvilke data, der skal indsamles, afhænger dels af projektets karakter (i et udbredelsesprojekt skal data f.eks. sige noget om projektets virkning i forskellige kontekster) og evalueringens anvendelsesformål: Hvem skal have ny/styrket viden om hvad og hvorfor?

Først og fremmest skal data være egnede som input til at give svar på de evalueringsspørgsmål, som I formulerer.

Gode råd til data

Tænk data bredt

Mange forbinder data med tal i et regneark. Men data er i virkeligheden alle slags informationer, der beskriver projektet og dets påvirkning af omgivelserne. Det kan være alt fra iagttagelser og citater til survey-resultater eller fysiske bevægelsesmønstre kortlagt via teledata.

Påvirkning af mennesker

Projekter, der arbejder for det gode liv hos grupper af mennesker, handler ofte om at påvirke målgruppens viden, holdninger, eller adfærd – måske giver det mening for jer at skelne?

Flere trin på vejen mod effekt

Hvis dit projekt skal medvirke til en ændring i målgruppen, er det relevant at overveje, hvor langt projektet bringer dem videre: Skabes der primært nye forudsætninger i målgruppen for, at de kan agere på nye måder? Kan der faktisk i projektet konstateres forandringer i målgruppens adfærd? Eller kan man direkte konstatere, at målgruppen opnår konkrete forbedringer i deres liv?

Led efter indikationer

Jeres opgave bliver at finde en måde at præsentere projektets komplicerede virkning eller værdiskabelse på en enkel måde. Altså data, der giver fingerpeg om – eller indikationer på – at projektet skaber de effekter, I efterstræber.

Ligesom valg af data afhænger af evalueringsspørgsmålene, afhænger metodevalget af data. Evalueringsmetoder kan være meget andet og mere end interviews, surveys eller træk af registerdata.

Hvis I selv skal forestå evalueringen, så vær kreativ. Og hvis I udbyder evalueringsopgaven eksternt, så begræns ikke evaluatoren ved at kræve, at specifikke metoder anvendes.

Forsøg så vidt muligt at integrere dataindsamlingen i projektets øvrige aktiviteter. Det kan spare ressourcer for både jer og jeres ‘datakilder’.

Gode råd til metoder

Mens nogle metoder kan bidrage til at skabe overblik, f.eks. spørgeskema (kvantitativ metode); kan I med andre metoder som f.eks. interviews opnå et styrket indblik (kvalitativ metode). Ofte er det godt at kombinere, så man både skaber overblik og indblik.

Skab fælles forståelse

Særligt i projektets opstartsfase kan det være en værdifuld investering at mødes i projektgruppen og tegne sammenhængene mellem projektets aktiviteter og udbytte for målgruppen (outcomes) for at skabe en fælles forståelse af projektet og fokus i evalueringen.

Skab fælles refleksion

Hvis I integrerer interview i projektmøder eller deltageraktiviteter, kan det give anledning til fælles refleksion, der kan fremme projektets formål. I kan strukturere samtalen med klassiske dagsordenspunkter, dialogkort/spil eller ‘deltagerrejser’.

Brug interview til inspiration

I kan bruge interview til inspiration ved f.eks. at bede deltagerne indsende små videoer med sig selv, eller hvor de interviewer hinanden efter en kort skabelon.

Skab løbende feedback

Tænk over, om I kan sikre løbende feedback, så valg i projektet hele tiden baserer sig på aktuel data.

Formidlingen af evalueringen skal først og fremmest understøtte evalueringens anvendelsesformål.

Hvis evalueringen ‘bare’ skal skabe synlighed om projektet i offentligheden, kan I koncentrere jer om envejskommunikation via f.eks. sociale medier.

Men hvis evalueringen skal bidrage til f.eks. at forankre en indsats, påvirke beslutningstagere, styrke eller etablere partnerskaber, forbedre fremtidige indsatser eller give organisationen nye muligheder, så kræver det ekstra overvejelser om til hvem og hvordan I vil formidle evalueringen.

Formidlingens formål

Væk interessen

Vil I vække interesse for jeres indsats i en given målgruppe, kan det være effektivt at kommunikere evalueringens resultater via sociale medier, i nyhedsbreve, medier, fagblade eller til konferencer. Overvej i skriftlig formidling at kommunikere få, centrale budskaber eller indsigter ad gangen – frem for hele evalueringen på én gang.

Skab engagement

Vil I skabe engagement og forankre den viden, evalueringen bidrager med, eller bringe den i spil i nye sammenhænge, så er der behov for tovejskommunikation mellem jer og jeres målgruppe. Det kan ske gennem dialog eller interaktion.

Husk, at ‘less is more’. En tæt dialog med få centrale partnere, projektledere, nøgleinteressenter eller beslutningstagere kan skabe mere forandring end kommunikation med større grupper. Korte skriftlige og/eller mundtlige oplæg kan være en bedre start på en dialog end fyldige evalueringsrapporter.

Intern eller ekstern evaluator? Det behøver ikke at være enten/eller.

Flere faktorer spiller ind på denne beslutning. Husk, at en evaluering som regel består af mange aktiviteter, hvoraf nogle måske kræver kompetencer og en armslængde, som dit projekthold ikke selv kan levere.

Mange projektholdere har stor nytte af selv at gennemføre flere evalueringsaktiviteter selv - men med løbende rådgivning fra evalueringsspecialister.

Intern eller ekstern evaluator

Hvilke kompetencer skal bruges?

Ud fra jeres foreløbige overvejelser om evalueringsdesignet (valg af data, metoder og formidling) bør I nøje overveje, hvilke kompetencer, der kræves. Nogle har I måske internt, mens andre kræver ekstern hjælp. Det kan være erfaring med registerdata, surveys, forandringsteori, proceskompetencer osv.

Erfaring

Jo større og mere komplekst et projekt er, jo vigtigere er det at have en person tilknyttet med erfaring fra tidligere evalueringer.

Risiko for bias

Det kan være nødvendigt at bede eksterne om at samle data ind via interview eller survey, fordi det kan påvirke deltagernes svar (hæmme ærligheden), hvis I selv spørger dem.

Troværdighed

Hvis evalueringen skal bruges til at overbevise eksterne interessenter om projektmodellens værdi (f.eks. med henblik på udbredelse), kan der være behov for at sikre objektivitet via en ekstern evaluator.

Kompetenceopbygning

Måske har I et ønske om at udvikle jeres evalueringskompetencer? I så fald kan en ekstern evalueringsfaglig person rådgive jer undervejs, mens I selv forestår evalueringen.

Når I skal estimere budgettet for en evaluering er der ganske mange ting at tage hensyn til. Dine overvejelser om guidens foregående seks spørgsmål vil hjælpe dig langt i budgetlægningen.

Ofte vil budgetlægning og udvikling af evalueringsdesign gå hånd i hånd; med mindre I på forhånd har en fast budgetramme.

Husk at skelne mellem det eksterne evalueringsbudget (hvis I har et) og timeforbruget til projektholdets egne evalueringsaktiviteter – sidstnævnte undervurderes ofte.

Afhængigt af ambitionsniveau for evalueringen skal I nok regne med at reservere omkring 5 pct. af projektbudgettet til evaluering.

Gode råd til budget

Opbyg evalueringskompetencer internt

Køb af ekstern støtte til evaluering med fokus på også at opbygge interne evalueringskompetencer undervejs i evalueringen er ofte dyrere end bare at udbyde selve evalueringsopgaven, men kan være en god investering på længere sigt.

Få mest erfaring for pengene

Erfaring og leverancesikkerhed koster penge. Evalueringskonsulenters timerater varierer fra 800 til 2.000 kr/t. Niveauet afspejler ofte konsulentens erfaring.

Spar penge

I kan formentlig spare en del penge på ekstern hjælp, hvis I selv bidrager til dataindsamlingen. Hvis I ønsker en ekstern til at foretage interviews, kan I måske stå for den praktiske planlægning af interviewene

Få flere til at besvare surveys

Man kan arbejde aktivt med at motivere flere til at besvare surveys. Udlodning af f.eks. præmier som incitament for deltagelse kan både spare dyre timer og styrke data.

Hold hyppige møder med evaluator

Hyppige møder med en ekstern evaluator er oftest både mere værdiskabende og omkostningseffektivt end at efterspørge lange afrapporteringer.