Arbetsprov tros av många vara den urvalsmetod som är absolut bäst på att förutsäga framtida prestation. Men stämmer det verkligen? Vad säger egentligen forskning om arbetsprover som urvalsmetod? Vilka möjligheter och utmaningar finns? Och vad behöver vi tänka på när vi utformar ett arbetsprov till vår urvalsprocess?
Gammal kunskap som lever kvar
I en gammal välciterad sammanställning av metastudier på olika urvalsmetoders prediktiva validitet (Schmidt & Hunter, 1998) hittar vi arbetsprov (work sample test på engelska) som den mest träffsäkra metoden med en prediktiv validitet på 0.54.
Det få nämner när de hänvisar till dessa forskningsresultat är att:
- Metaanalysen av arbetsprover, som Schmidt och Hunter hänvisar till, publicerades på 80-talet (Hunter & Hunter, 1984) och har därmed 40 år på nacken.
- Det är okänt vilka och hur många originalstudierna är, vilket gör det väldigt svårt att bedöma kvaliteten på dessa och resultatet.
- Det finns en nyare metastudie på arbetsprover som urvalsmetod (Roth, Bobko & McFarland, 2005) som du kommer att få ta del av nedan.
Vad är ett arbetsprov?
Innan vi går in på de nyare forskningsresultaten kan vi behöva stanna upp och ställa oss frågan: vad är ett arbetsprov egentligen? För vissa är det kanske självklart, men faktum är att det råder en hel del förvirring här.
Om vi vänder oss till den vetenskaplig litteraturen (och det lär vi göra eftersom vi snart ska titta på forskningsresultat från den) är ett arbetsprov ett test där kandidaten får utföra en uppsättning faktiska uppgifter som är fysiskt och/eller psykologiskt lika de som utförs i jobbet.
Det handlar alltså om faktiska eller mycket snarlika arbetsuppgifter som kandidaten senare kommer att möta om hen blir anställd. Arbetsprover är konkreta och det finns en tydlig koppling till det aktuella jobbet.
Vad är inte ett arbetsprov?
Det finns metoder som vi ibland kallar för arbetsprover men som faktiskt inte är det (om vi utgår ifrån den strikta definitionen ovan). Det kan handla om ett kunskapstest, där kandidaten får visa sina kunskaper men inte utföra en konkret uppgift. Situationsbaserade intervjuer, muntliga presentationer eller case-övningar är inte heller arbetsprover (om inte presentationen eller case-övningen är väldigt lik uppgifter som kandidaten kommer att möta i arbetet).
Ny metastudie med över 10 000 deltagare
Den nyare metastudien av Roth med kollegor är baserad på 54 korrelationer och strax över 10 000 deltagare.
Resultatet visar ett observerat samband mellan resultat på arbetsprov och arbetsprestation på 0.26. Korrigerat för mätfel i kriteriet (en vanlig statistisk justering som görs i korrelationsstudier) stiger den prediktiva validiteten till 0.33. Det är långt under 0.54.
Tittar vi på kredibilitetsintervallet som författarna rapporterar så kan vi dra slutsatsen att med 80 procents sannolikhet ligger det “verkliga” värdet mellan 0.24 och 0.42 – även detta är en bra bit under det tidigare rapporterade 0.54.
Ingen skillnad beroende på komplexitet
Analysen visade även att komplexiteten i jobbet inte hade någon större betydelse för arbetsprovernas förmåga att förutsäga arbetsprestation. De verkar med andra ord vara lika valida för enklare jobb som för mer komplexa.
Värt att notera
Värt att notera är att av dessa 54 tidigare uppmätta resultat var det bara ett(!) som byggde på data från faktiska arbetssökande till en tjänst. Resterande var baserade på redan anställda, som alltså fick göra ett arbetsprov och där resultatet av detta sedan jämfördes med arbetsprestation. Det finns alltså mycket begränsad forskning på arbetsprover som utförs av faktiska sökande till en tjänst.
Vill du få HR-forskning direkt i din inkorg? Prenumerera på nya inlägg här:
En av de bättre urvalsmetoderna
Utifrån dessa nyare uppskattningar av validitet, hur står sig ett arbetsprov jämfört med andra urvalsmetoder?
Vi tar en titt på en ny sammanställning av olika urvalsmetoders prediktiva validitet (Sackett, Zhang, Berry & Lievens, 2021). Den här sammanställningen är ingen ny metastudie, men den använder resultat från nyare metastudier på specifika urvalsmetoder – inklusive den av Roth med flera.
Här kommer arbetsprover på fjärde plats vad gäller validitet (0.33), efter strukturerade intervjuer (0.42), jobbrelaterade kunskapstester (0.40) och biodata (0.38). På ungefär samma nivå hittar vi kognitiva tester (0.31) och integritetstester (0.31).
När vi ändå har nämnt muntliga presentationer och case-övningar, som också är vanliga övningar i ett assessment center, kan vi konstatera att deras förmåga att förutsäga arbetsprestation i genomsnitt är lägre (0.19 utifrån metastudie av Hoffman m.fl., 2015).
Läs mer: Vilka urvalsmetoder är bäst vid rekrytering?
Risk för diskriminering
Finns det några risker med att använda arbetsprov i urvalsprocessen? Hur ser det exempelvis ut med risken för att systematiskt missgynna vissa grupper?
Skillnader mellan etniska grupper
Ett gammalt argument för arbetsprover som urvalsmetod är att de skulle ha relativt låga skillnader mellan olika etniska grupper. Argumentet bygger på resultat från en tidigare metaanalys av Schmitt, Clause och Pulakos (1996) som drog slutsatsen att skillnaden i resultat mellan svarta och vita sökande är d = 0.38 (till förmån för vita). Det finns dock flera problem med dessa resultat (bland annat beskuren spridning och att de är baserade på en väldigt bred definition av arbetsprover).
En nyare metastudie av Roth, Bobko, McFarland och Buster (2008) ger dessutom en helt annan bild av risken för systematisk diskriminering. Utifrån 21 tidigare studier på faktiska sökande drar de slutsatsen att skillnaden i resultat mellan svarta och vita är d = 0.67. Det är betydligt högre än tidigare påstådda 0.38.
De kommer också fram till att skillnaderna varierar kraftigt beroende på hur arbetsprovet är utformat och vilken typ av övning som det innehåller. Övningar med större fokus på kognitiva aspekter av jobbet (kunskap eller att samla och analysera information) och skriftliga övningar visar betydligt större skillnader mellan grupper (d = 0.80) jämfört med övningar med större fokus på sociala och muntliga aspekter av jobbet (d = 0.21-0.27).
Skillnader mellan kvinnor och män
Finns det en risk för diskriminering av kvinnor eller män? Här är forskningen mer begränsad men några studier ger oss användbara insikter.
Överlag är skillnaderna i resultat på ett arbetsprov mellan kvinnor och män låga. Däremot finns det större skillnader om vi tittar på olika typer av övningar – där vissa gynnar kvinnor och andra gynnar män.
Resultat från ett fåtal studier tyder på att män överlag presterar bättre på mer tekniska arbetsprover (som kräver jobbspecifik kunskap) och arbetsprover som bedömer spatial förmåga. Kvinnor presterar istället bättre på mer skriftliga, verbala och sociala arbetsprover.
Genom att ha ovanstående resultat i åtanke när vi utformar arbetsprov kan vi undvika att systematiskt missgynna vissa grupper.
Arbetsprover i praktiken
Trots att arbetsprover inte längre kommer på första plats betyder det inte att de inte kan vara värdefulla i en rekryteringsprocess. Tvärtom kan de vara ett bra komplement till både tester och intervjuer. Men att tro att ett arbetsprov förbättrar rekryteringsprocessen bara för att vi kallar det för arbetsprov är att missta sig.
Nedan är några saker som kan vara bra att tänka på innan du lägger till ett arbetsprov i din rekryteringsprocess.
Utgå ifrån kravprofilen
Finns det krav i kravprofilen som är lättare att utvärdera genom ett arbetsprov än genom andra (ofta billigare) urvalsmetoder (till exempel test eller intervju)?
Kombinera på rätt sätt
Kombinera gärna aspekter av jobbet som kräver kognitiv förmåga och teknisk kunskap med aspekter som kräver kommunikativ och social förmåga för att minska risken för diskriminering. Givetvis med kravprofilen i åtanke.
Så likt som möjligt
Utforma ett arbetsprov som är så likt (delar av) det faktiska arbetet som möjligt.
Struktur och standardisering
Struktur är en förutsättning för jämförbara resultat. Se till att arbetsprovet och möjligheterna att förbereda sig är lika för alla kandidater.
Tydliga bedömningskriterier
Bestäm vad ni ska bedöma i arbetsprovet innan ni låter några kandidater genomföra det. Använd bedömningsstöd för att göra bedömningen så stabil som möjligt.
Workshop för rekryterare
Vill du och ditt team lära er mer om och träna på det praktiska arbetet med arbetsprover och andra delar av rekryteringsarbetet? Läs mer om vilka workshops vi kan erbjuda här.
Referenser och lästips
Harari, M. B.., Viswesvaran, C., & O’Rourke, R. (2014). Gender differences in work sample assessments: Not all tests are created equal. Journal of Work and Organizational Psychology, 30(1), 29-34.
Hoffman, B. J., Kennedy, C. L., LoPilato, A. C., Monahan, E. L., & Lance, C. E. (2015). A review of the content, criterion-related, and construct-related validity of assessment center exercises. Journal of Applied Psychology, 100(4), 1143-1168.
Hunter, J. E., & Hunter, R. F. (1984). Validity and utility of alternative predictors of job performance. Psychological Bulletin, 96(1), 72-98
Roth, P. L., Bobko, P., & McFarland, L. A. (2005). A meta-analysis of work sample test validity: updating and integrating some classic literature. Personnel Psychology, 58(4), 1009-1037
Roth, P., Bobko, P., McFarland, L., & Buster, M. (2008). Work sample tests in personnel selection: A meta-analysis of black-white differences in overall and exercise scores. Personnel Psychology, 61(3), 637-662.
Sackett, P. R., Zhang, C., Berry, C. M., & Lievens, F. (2021). Revisiting meta-analytic estimates of validity in personnel selection: addressing systematic overcorrection for restriction of range. Journal of Applied Psychology. Online publication.
Schmitt, N., Clause, C. S., & Pulakos, E. D. (1996). Subgroup differences associated with different measures of some common job relevant constructs. In Cooper, C. L., & Robertson, I. T. (Red.), International review of industrial and organizational psychology (pp. 115– 139). New York: Wiley.
Schmidt, F. L., & Hunter, J. E. (1998). The validity and utility of selection methods in personnel psychology: practical and theoretical implications of 85 years of research findings. Psychological Bulletin, 124(2), 262-274
Lämna ett svar