Spørgeskema – fordele og ulemper

Af Sebastian Nybo, Erhvervspsykologisk Rådgiver, SEB Erhvervspsykologisk Rådgivningscenter®.

Aïda Jørgensen, EOS, har givet stafetten videre til mig med fokus på spørgeskemaer og de deraf følgende aspekter.

SEB Erhvervspsykologisk Rådgivningscenter er en konsulentvirksomhed, der tilbyder en lang række ydelser indenfor det erhvervsrelaterede, psykologiske område. For os er det en naturlig proces at indsamle, behandle og anvende informationer. Alle vores træningsprogrammer bliver til i et tæt samarbejde med kunden. Den mest valide metode er efter vores mening at observere deltagerne og interviewe dem. Denne metode anvendes altid som startfase på vores større interne projekter. En sådan fremgangsmåde er ressourcekrævende og derfor ikke typisk egnet til evaluering af kurser. Vi må ofte anvende det næstbedste: Et spørgeskema.

“Korsvejs”-spørgsmålet

Der er en lang række spørgsmål, vi skal stille os selv, inden vi begynder at udarbejde et skema. Det egentlige “korsvejs”-spørgsmål er, om det er deltagernes tilfredshedsgrad, vi ønsker at afdække, eller om vi ønsker at aflæse effekten af den undervisning/træning, deltagerne har modtaget? Det er to vidt forskellige indgangsvinkler til udarbejdelse af spørgeskemaer. Den ene måling udelukker ikke den anden, men for os er det typisk effektmålingen, der har interesse. En del af vores arbejde er at ændre deltagernes holdninger til de indstillinger, de har til sig selv, deres kunder, kolleger eller moralbegreber. At stille sådanne krav indebærer af og til, at deltagerne bliver vrede eller oplever en følelse af ikke at kunne slå til. Piet Hein har ret, når han siger at “enkel er loven om antipati. Det, man ikke forstår, vil man ikke ku ́ li ́”. Et af vores træningsprojekter hedder “Forberedt på Forandringer” (udviklet som forløber for store organisatoriske ændringer, f.eks. fusioner eller en markant ændret markedsposition).

Det er en helt naturlig reaktion for de af deltagerne, hvis forandringsvillighed er meget begrænset, at blive utilfredse. Det er faktisk meningen i visse sammenhænge, at det er os, der som den udefra kommende faktor, som konsulentvirksomhed, skal tage de negative spændinger med ud af organisationen. Det at udvikle medarbejdere, der ikke har været “rørt” i lang tid, er alt andet end en popularitetskonkurrence. Så hvis vi i de forløb testede for tilfredshed, ville det give et helt galt billede.

Det er ofte mere vanskeligt at effektmåle på de åbne kurser, som vi afholder, fordi deltagerne ikke umiddelbart oplever, at de er lige så forpligtet til at bruge den fornødne tid på evalueringen, som hvis det indgik i deres kompetenceudvikling. Så når vi sammenkobler kompetenceudvikling og effekt-måling i vores evalueringsproces for vores interne kurser/træningsforløb, når vi den ønskede validitet.

At skille sig ud

Som det forrige stafethold var inde på, kan det være forbundet med visse vanskeligheder at skille sig ud fra den store mængde af udbydere, der er til stede på det danske kursusmarked. For os var det derfor naturligt fra første færd at påvise, at vores træning ændrer deltagernes holdninger og anskuelser. Derfor har vi i dag en base på mere end 15.000 målinger, samlet indenfor alle grene af vores træningsflade, der strækker sig fra omsorgsetik over sælgerudvikling til ledertræning. Men det er ikke kun med marketing for øje, at vi evaluerer. Det er også for at få de bedste betingelser for, at den viden, der er blevet implementeret, ikke bliver indkapslet.

Det skal efter vores mening være en fælles opgave for køber og udbyder at opnå denne sikkerhed. Derfor stiller vi store krav til vores kunder og arbejder med en detaljeret kontrakt, hvoraf det fremgår, hvem der skal gøre hvad og hvornår. Det er naturligt alfa og omega, at køber og udbyder er enige om, hvilken effekt, der ønskes af træningen. Så dette forarbejde skal være gjort, inden processen starter. Og det er naturligvis også disse nøje beskrevne egenskaber, der efterfølgende testes for i evalueringsskemaerne.

Hvordan kan vi få sikkerhed i målingerne?

For overhovedet at gøre sig håb om, at resultaterne af skemaerne kunne blive valide, måtte vi finde en metode, der kunne sikre et ordentligt fundament. Vi har valgt at arbejde ud fra de monitoreringsprincipper, der gælder, når det handler om test af medicin på patientgrupper. Endvidere var det for os centralt, at deltagerne oplevede, at skemaet ikke var en nedvurdering af deres intellekt, som alt for mange alt for simple skemaer er det. Resultaterne af evalueringen skulle som nævnt også, udover at måle effekten, danne fundamentet for en effektsikringsplan for virksomheden videre frem. Alt dette skulle gøres så omkostningsbevidst som muligt. Det er en af årsagerne til, at mange udbydere slet ikke går ind i effektmålingsproblematikken.

Den første effektevalueringsrunde ligger ca. 14 til 30 dage efter den sidste træningsdag. På vores projekter er der ofte 20 dage mellem træningsdagene, så deltagerne kan afprøve de nye redskaber og udføre deres hjemmeopgaver. Den næste runde starter efter ca. tre måneder, og den sidste ni måneder efter endt træning. Det grundlæggende princip bag vores metode er konsekvens. I al sin enkelthed er det kun de udsagn, der optræder konsekvent, der kommer med i resultaterne. De udsagn, der ikke kan kodes, optræder i en særlig rubrik (som differenceforskydninger) i den samlede evaluering.

Stil krav til besvareren

Vi kan i hvert fald modbevise den påstand, at et evalueringsskema skal være simpelt, for at deltageren vil udfylde det. Vores er typisk på tre sider, og det tager ca 20 – 40 minutter at udfylde det. Skemaet er opbygget af tre forskellige elementer. Det første er det velkendte afkrydsningsprincip. Dog er det gjort lidt sværere, idet værdierne i de enkelte spørgsmål ændres. Man kan altså ikke bare sætte sin markering i højre side hver gang, for det kan lige så godt være midt på eller til venstre på linien, det giver den ønskede værdi. Dernæst er der en række udsagn, deltagerne skal tage stilling til. Det sidste element er deltagerens eget udsagn. Her skal deltageren selv formulere sine svar.

Disse tre elementer er blandet skemaet igennem, bruges skiftevis, og stiller krav til deltageren. I indledningen til selve evalueringsskemaet anbefaler vi, at deltageren sætter sig et sted, hvor han eller hun ikke vil blive forstyrret, og afsætter den fornødne tid til at sætte sig ind i skemaet. Og faktisk viser det sig, at mere end 40 % oplever, at det har været en interessant opgave at svare på skemaet. At det har fået dem til at revurdere eller ligefrem genlæse den arbejdsbog, der fulgte med træningen.

Som modvægt til den enkelte deltagers udsagn kan vi indhente kollegernes, lederens eller kundernes udsagn. For ét er, hvad den enkelte deltager oplever, noget andet er, hvad omgivelserne registrerer. Derfor udarbejdes der evalueringsskemaer til de implicerede grupper. Med denne modpol fremstår der ofte et meget præcist billede af effekten. For at få det klareste og mest nuancerede billede af effekten er det igen observationer af deltagernes adfærd, der er det absolut bedste redskab, men en gennemtænkt og dybdegående skemaanalyse er ofte så god, at vi ikke kan retfærdiggøre den meget dyre observationsmetode.

I SEB bruger vi store ressourcer på at finde den optimale metode, og i fremtiden vil vi også kunne hente hjælp ved at bruge IT-teknologien. Det vil snart være muligt at udforme effektmålingsredskaber via virtual reality. Så det er faktisk kun fantasien og økonomien, der sætter grænser for en effektiv effektmåling.

At være i kontakt med sit marked og at kunne skille sig ud er en indlysende fordel. Også når det handler om tilfredshedsmålinger. Dette aspekt er som nævnt ikke vores primære interesseområde, så derfor vil jeg give stafetten videre til en, der har mange erfaringer med netop dette. Adm. direktør Lotta Steuch fra IIR Danmark har gennem flere år arbejdet med at sikre tilfredshedsgraden hos sine deltagere og derigennem med at sikre et stærkt image som konferenceudbyder.

Har du spørgsmål til effekten af spørgeskemaundersøgelser, så kontakt foredragsholder Sebastian Nybo.