Referenstagning – vad säger forskningen egentligen?

Referenstagning är ett av de vanligaste momenten i en rekryteringsprocess. Många arbetsgivare kan inte tänka sig att anställa någon utan att kolla referenser. Men vad säger egentligen forskningen om referenstagning som urvalsmetod? Kan referenserna säga något om framtida prestation? Den här artikeln sammanfattar forskningsläget om referenstagning i rekryteringssammanhang. 

Ett brett begrepp 

På samma sätt som ”intervju” kan innebära många olika saker i rekryteringssammanhang, kan också en referenstagning se mycket olika ut i olika rekryteringsprocesser. Att ta referenser kan innefatta allt från att bekräfta information som kandidaten uppgett i processen till att samla in referensens bedömning av tidigare arbetsprestation eller framtida potential. Den som utgör referensen kan också ha olika roll. Det kan exempelvis vara en tidigare chef, kollega, HR-representant eller kund. Dessutom genomförs referenstagningar på olika sätt. Vissa gör dem över telefon, medan andra föredrar skriftlig referenstagning. 

Eftersom referenstagningen kan se så olika ut är det svårt att uttala sig om dess trovärdighet som urvalsmetod. Beroende på hur den görs kan tillförlitligheten skilja sig avsevärt. Här kommer dock ett försök. 

Forskning om referenstagning

Tyvärr är forskningen om referenstagning som urvalsmetod begränsad. Jämfört med många andra urvalsmetoder finns det endast ett fåtal empiriska studier som undersöker referenstagningens reliabilitet (tillförlitlighet som mätinstrument) och validitet (i första hand förmåga att förutsäga framtida prestation). Dessutom har de studier som finns använt olika metoder och typer av referenstagningar, vilket gör det svårt att jämföra och generalisera resultaten. Många äldre studier är baserade på skriftliga referenstagningar, vilket begränsar vilka slutsatser som kan dras om referenstagningar över telefon.

Referenstagning som mätinstrument 

För att förstå referenstagningen som mätinstrument kan vi gå närmare in på hur instrumentet är uppbyggt. När referenstagning används i rekryteringssammanhang finns det en kandidat, vars person (kompetenser) ska mätas, och en observatör (referensen), vars bedömning utgör själva mätningen.

Mätinstrumentets reliabilitet handlar i det här fallet om tillförlitligheten i referensens bedömning. Hur trovärdiga är referenserna i sin bedömning? Finns det subjektivitet inblandat i bedömningen? Gör olika referenser samma bedömning? Gör en referens samma bedömning om hen ombeds göra den igen? Dessa är några av de frågor som är centrala när referenstagningens reliabilitet ska utvärderas. 

Tillförlitlighet i referenstagningen

Några av de mest uppenbara problemen med referenstagning som urvalsmetod berör just tillförlitligheten. I korta drag handlar det om att referenserna är subjektiva (liksom alla människor) och utvalda för att tala positivt om kandidaten. 

För det första finns det ingen kandidat som vill ge en dålig referens, vilket motiverar dem att ange de referenser som kommer att ge den mest positiva bilden. Detta har också bekräftats av forskning. Dels är referenserna mer benägna att ställa upp som referens för personer som de tycker har presterat bra, och dels säger de övervägande positiva saker i ett referenssamtal. I förlängningen leder det till en positiv snedfördelning av referensernas bedömning. 

För det andra visar det sig att referenstagningen har låg överensstämmelse mellan olika bedömare (referenser) jämfört med många andra urvalsmetoder. I de studier som gjorts ligger den så kallade interrater-reliabiliteten på ungefär 0.3-0.4. Olika referenser gör alltså i stor grad olika bedömning av samma kandidat. Med andra ord kan vi inte lita på att en enskild referens gör en korrekt bedömning av en kandidat. Att referensernas uppfattning varierar så kan ha flera orsaker:  

• Referenserna kan ha sett kandidaten i olika typer av situationer.
• Referenserna kan ha olika förståelse för ett begrepp. 
• Referenserna kan vara olika lämpade att bedöma kompetens.
• Referenserna kan minnas fel eller vara påverkade av andra kognitiva begränsningar som  leder till en skev bedömning. 

Liksom i många andra mänskliga bedömningssituationer ger referenserna i stor grad sin subjektiva åsikt om kandidaten, som i sin tur kan vara baserad på mer eller mindre tydliga kriterier. En stor utmaning med referenstagning, till skillnad från exempelvis intervjun, är att det är svårt att träna bedömarna (referenserna) i hur de ska göra sin bedömning på ett så objektivt sätt som möjligt. 

Ett annat relevant mått på tillförlitligheten i referenstagningen är huruvida referenserna gör samma bedömning vid olika tillfällen. Hedricks, Robie och Oswald (2013) undersökte detta och fann en överensstämmelse på 0.64-0.83 vid en andra referenstagning två veckor efter den första. Eftersom det handlar om mänskliga bedömningar är det ungefär vad som kan förväntas. 

Kan referenstagning förutsäga arbetsprestation? 

Vad är det vi försöker mäta med en referenstagning? Vilken del av kandidaten som person? Finns det en verklig koppling mellan det vi försöker mäta och arbetsprestation eller andra viktiga utfall i den aktuella rollen? Med andra ord, mäter vi rätt saker? Om vi inte gör det spelar det ingen roll hur bra mätinstrumentet är eftersom resultaten inte är användbara. Därför är det viktigt att hela rekryteringsprocessen föregås av en ordentlig jobbanalys och ett gediget kravprofilsarbete.

Läs mer: Vad är en jobbanalys och hur gör du en?

Referenstagning är en av de vanligaste urvalsmetoderna och har hög acceptans hos kandidaterna. Trots det är forskningen kring referenstagningens validitet mycket begränsad jämfört med många andra vanliga urvalsmetoder. En orsak kan vara att tidiga metaanalyser från 80-talet konstaterade mycket låg prediktiv validitet (.16-.26) och att detta satte stopp för vidare forskning. Ett begränsat antal studier har dock undersökt referenstagningens förmåga att förutsäga framtida arbetsprestation även efter detta, vissa av dem med mer fördelaktiga resultat. 

Här är de relevanta empiriska resultat som jag har hittat (i kronologisk ordning):

• Hunter & Hunter (1984): mig veterligen den senaste metaanalysen som som undersökt prediktiv validitet (förmåga att förutsäga arbetsprestation) hos referenstagning som urvalsmetod. Utifrån 10 korrelationer konstaterades en validitet på .26 för arbetsprestation, vilket är relativt lågt. Tidigare metaanalyser kom fram till ännu lägre validitet.  
• Daniel (1990): casestudie där kandidaterna rankades utifrån 15 beskrivande ord. Data från 39 personer visade en prediktiv validitet på .33. 
• Aamodt, Bryan & Whitcomb (1993): två studier som analyserade innehållet i rekommendationsbrev (letters of recommendation) genom att placera nämnda egenskaper i fem kategorier. Studierna visade prediktiv validitet på .32 respektive .38. 
• McCarthy & Goffin (2001): undersökte tre olika metoder för referenstagning (multi-item 7-point scale, relative percentile method scale, och global trait rankings). Baserat på data från 57 personer visade dock endast en av dem, relative percentile method scale, ett signifikant samband med prestation med en prediktiv validitet på .42. Den här metoden gick ut på att referenserna fick bedöma kandidaterna utifrån fyra attribut från 0-100 där 50 indikerade genomsnittet.
• Taylor, Pajo, Cheung & Stringfield (2004): casestudie där en strukturerad referenstagning genomfördes över telefon. 1-3 referenser fick bedöma 223 kandidater utifrån tre jobbrelevanta dimensioner (samvetsgrannhet, vänlighet och kundfokus). Resultatet visade en prediktiv validitet på .36 för ingångsjobb med kundkontakt. Den här studien visade även ett litet men signifikant negativt samband med personalomsättning, det vill säga att de med högre resultat hade lägre sannolikhet att sluta innan första utvärderingen efter 6-12 månader. 
• Hedricks, Robie & Oswald (2013): flera casestudier som använde en webbaserad skriftlig strukturerad referenstagning. I studierna fick ett flertal referenser bedöma kandidater utifrån fyra dimensioner (professionalitet, sociala färdigheter, problemlösning/anpassningsbarhet och integritet). Studier genomfördes i sex organisationer (fyra inom hälso- och sjukvård, en detaljhandelskedja och ett teknologiföretag). Referensbedömningen kunde sedan förutsäga dels chefens bedömning av samma dimension (.35) och dels ofrivilliga avslut, det vill säga uppsägning eller avsked (-.156).

Vad är prediktiv validitet?

Prediktiv validitet i urvalssammanhang handlar om urvalsmetodens förmåga att förutsäga framtida skeenden, såsom arbetsprestation, anställningstid m.m. Den prediktiva validiteten anges som en korrelation, ett samband, mellan resultatet i urvalsmetoden och det bestämda kriteriet (t.ex. arbetsprestation). För att få ett så korrekt värde som möjligt är det vanligt att värdet på sambandet justeras med hänsyn till ett begränsat intervall, eftersom det inte finns fullständiga data från alla kandidater (de som inte har gått vidare från ett tidigare steg och de som inte anställs). 

Vad som är ett svagt respektive starkt samband kan diskuteras, men vanligtvis anses ett svagt samband vara mellan .10 och .29, ett måttligt samband mellan .30 och .49, och ett starkt samband över .50.

Ska man ta referenser eller inte?

Sammanfattningsvis visar existerande studier på ett samband mellan olika typer av referenstagning och arbetsprestation motsvarande .16-.42. Med andra ord ett lågt till måttligt samband. Detta kan jämföras med kognitiva tester (.65) och strukturerad intervju (.58) som båda uppvisar starka samband mellan urvalsmetod och arbetsprestation. Enligt en nyare metaanalys ger referenstagning inkrementell validitet utöver ett kognitivt test, vilket innebär att bedömningen kan bli något bättre (total prediktiv validitet på .70) om testet kombineras med en referenstagning på rätt sätt. Dock finns det andra urvalsmetoder som är betydligt bättre att kombinera med ett kognitivt test om syftet är att uppnå så hög prediktiv validitet som möjligt. 

Läs mer: Vilka urvalsmetoder är bäst vid rekrytering?

Med andra ord finns det en rad urvalsmetoder som är bättre på att förutsäga arbetsprestation än referenstagning, även om referenstagningen inte nödvändigtvis behöver vara fullt så värdelös som äldre studier indikerade. Forskningen på referenstagningen som urvalsmetod är dock fortfarande mycket begränsad. De studier som finns har använt olika metoder och många av dem är baserade på små urval, vilket gör det svårt att dra några generella slutsatser. Det vi kan konstatera är att tillförlitligheten varierar kraftigt, och det är därför viktigt att tänka på hur referenstagningen genomförs. 

Vad ska man tänka på när man tar referenser? 

Referenstagning är definitivt inte nödvändigt i en rekryteringsprocess, men många kommer nog att fortsätta genomföra dem på grund av dess upplevda relevans. Därför är det viktigt att genomföra referenstagningen på rätt sätt, och skapa förutsättningar för så hög tillförlitlighet som möjligt. 

Här är några punkter att tänka på när du ska ta referenser: 

• Ha ett tydligt syfte med referenstagningen och utgå ifrån jobbanalysen.
• Se till att referenstagningen genomförs och bedöms på samma sätt för alla kandidater genom struktur och standardisering. Ha bestämda frågor (oavsett om referenstagningen sker över telefon eller genom ett formulär) och bestämda bedömningsskalor. Beräkna totalbedömningen på ett bestämt sätt. 
• Motverka den positiva snedfördelningen genom att be om exempel samt fråga om specifika saker (inklusive förbättringsområden) – acceptera inte ett allmänt uttalande som att kandidaten var “bra”. Probing (följdfrågor) är möjligt vid referenstagning över telefon men svårt vid ett webbaserat formulär. 
• Låg överensstämmelse mellan referenser gör det nödvändigt att ta flera referenser för att säkra trovärdigheten. 

Vill du få HR-forskning direkt i din inkorg? Prenumerera på nya inlägg här:

Referenser

Aamodt, M. G., Bryan, D. A., & Whitcomb, A. J. (1993). Predicting performance with letters of recommendation. Public Personnel Management, 22, 81–90

Daniel, D. (1990). Validity of a standardized reference checklist. Applied H.R.M. Research, 1, 51–66

Hedricks, C. A., Robie, C., & Oswald, F. L. (2013). Web-based multisource reference checking: an investigation of psychometric integrity and applied benefits. International Journal of Selection and Assessment, 21(1), 99-110 

Hedricks, C. A., Rupayana, D., Puchalski, L., & Robie, C. (2018). Content of qualitative feedback provided during structured, confidential reference checks. Personnel Assessment and Decisions, 4(1), 41-54

Hedricks, C. A., Rupayana, D. D., Fisher, P. A., & Robie, C. (2019). Factors affecting compliance with reference check requests. International Journal of Selection and Assessment, 27, 139-151

Hunter, J. E., & Hunter, R. F. (1984). Validity and utility of alternative predictors of job performance. Psychological Bulletin, 96(1), 72-98

McCarthy, J. M., & Goffin, R. D. (2001). Improving the validity of letters of recommendation: An investigation of three standardized reference forms. Military Psychology, 13, 199–222

Taylor, P. J., Pajo, K., Cheung, G W., & Stringfield, P. (2004). Dimensionality and validity of a structured telephone reference check procedure. Personnel Psychology, 57, 745-772