| 
View
 

Evalueringsdesign

Page history last edited by Jesper Buchholdt Gjørup 8 years, 12 months ago

Evalueringsdesign svarer i følge Lis Adamsen et al 1986 (side 94) på følgende spørgsmål:

  • Hvilken slags datagrundlag er nødvendigt og troværdigt?
  • Hvilken type undersøgelsesdesign er den mest hensigtsmæssige i forhold til spørgsmålene?
  • Hvilke datakilder er de mest hensigtsmæssige i forhold til spørgsmålene?

Inden udformningen af evalueringsdesignet består designfasen også af to andre "trin", nemlig (1) identificering af evalueringsbehov, -formål og -holdning og (2) udformning af undersøgelsesspørgsmål.

 

Anette Falcher skriver, at evalueringsdesignet er "den måde evalueringen er tilrettelagt på" (Peter Bundesen og Anette Falcher 2014, side 58)

Evalueringsdeignet afhænger af den aktuelle situation, formålet med evalueringen mv. Evaluator laver evalueringsdesignet , men opdragsgiver kan med fordel godkende evalueringsdesignet, så der er enighed hvad det er for en opgave/undersøgelse, der skal laves og hvordan. Falcher nævner en række punkter, der skal tages stilling til i evalueringsdesignet:

  • Evalueringens baggrund (konteksten, hvad er gået forud, anledningen)
  • Formulering af evalueringens formål (Hvorfor)
  • Beskrivelse af indsatsen (afgrænsning af evalueringens genstandsfelt:  Hvad skal evalueres)
  • Formulering af evalueringsspørgsmål
  • Valg af evalueringskriterier 
  • Valg af evalueringsform
  • Valg af dataindsamlingsmetoder (hvordan skal det undersøges)
  • Valg af afrapporteringsform
  • Fastlæggelse af praktiske rammer, herunder tidsplan og budget

(Peter Bundesen og Anette Falcher 2014 , side 59) 

 

GAO anbefaler fem trin, når en evaluering skal designes:

"Evaluations are studies tailored to answer specific questions about how well (or whether) a program is working. To ensure that the resulting information and analyses meet decision maker’s needs, it is particularly useful to isolate the tasks and choices involved in putting together a good evaluation design. We propose that the following five steps be completed before significant data are collected. These steps give structure to the rest of this publication:
1. Clarify understanding of the program’s goals and strategy. 
2. Develop relevant and useful evaluation questions
3. Select an appropriate evaluation approach or design for each evaluation question. 
4. Identify data sources and collection procedures to obtain relevant, credible information. 
5. Develop plans to analyze the data in ways that allow valid conclusions to be drawn from the evaluation questions"

(GAO 2012, side 7)

 

Senere i samme dokument opgøres et evalueringsdesigns komponenter:

"The basic components of an evaluation design include the following:
• the evaluation questions, objectives, and scope; 
• information sources and measures, or what information is needed; 
• data collection methods, including any sampling procedures, or how information or evidence will be obtained; 
• an analysis plan, including evaluative criteria or comparisons, or how or on what basis program performance will be judged or evaluated; 
• an assessment of study limitations. "

(GAO 2012, side 18)

 

Der findes mange forskellige undersøgelsesdesign/forskningsdesign/evalueringsdesign - forstået som nogle overordnede metodevalg.

Benedicte Madsen 1984 skelner mellem survey design, før-efter design, programdesign, faktorielt design, quasi-eksperimentelt design, eksperimentelt design.

 

Hanne Kathrine Krogstrup 2011 skelner mellem det eksperimentelle design, kvasi-eksperimentelle og ikke-eksperimentelle design, fx casestudier, interessentevalueringer, og skriver:

"Der er [i Europa] bred enighed om at der er brug for andre design end randomiserede, kontrollerede forsøg, når forskningsspørgsmålet handler om processer og interventioner, og at det er nødvendigt at vurdere et undersøgelsesdesign på designets egne præmisser." (side 133)

 

Typisk vil det være evaluators ansvar at fastlægge et evalueringsdesign, der kan honorere evalueringens formål og svare på evalueringsspørgsmålet.

Participatorisk evalueringUtilization-focused program evaluation, Developmental Evaluation m.fl. har dog fokus på at involvere brugerne af evalueringen i design-overvejelserne og beslutningen om det bedste design.

 

I sundhedsforskningen anerkendes "det dobbeltblindede kontrollerede eksperiment" med lodtrækning mellem interventionsgruppe og kontrolgruppe - på amerikansk kaldet Randomized Control group Trials (RCT) som den gyldne standard for empiriske effektundersøgelser. Disse RCT-studier sammenfattes så i systematiske reviews.

 

Andre principielle klassiske undersøgelses- og evalueringsdesign er

  • Statistiske analyser baseret på registerudtræk - herunder også quasi-eksperimentelt design, hvor indsatsens/forsøgsprojektets modtagere/deltagere søges sammenlignet med en tilsvarende gruppe i samme population/målgruppe 
  • Surveys - baseret på spørgeskemaundersøgelser og/eller telefoninterviews
  • Kvalitative interviewundersøgelser
  • Historiske dokumentanalyser 
  • Observationstudier - fx antropologisk feltarbejde 

 

Metoderne kan kombineres - trianguleres - i form af et "Mixed Method Design"

 

Hertil kommer de Evalueringstyper, som er opregnet på denne wiki.

 

Michael Quinn Patton (2008) anfører at "det bedste evalueringsdesign" ikke findes. 

Men Patton argumenterer for at inddrage evalueringens brugere i beslutningen om design

 

Peter Dahler-Larsen 2013 kalder relationen mellem "forestillingen om det optimale design", "erkendelsen af at det optimale design ikke kan lade sig gøre" og et effektspørgsmål" for "evalueringens bermudatrekant".

 

Comments (0)

You don't have permission to comment on this page.