Tycker du också att begreppet meta-analys ger lite extra tyngd bakom ett uttalande om forskning? Med all rätt, meta-analyser kan ofta vara mer tillförlitliga som bevis än enstaka studier. Men det finns också begränsningar och utmaningar med analysmetoden. Den här artikeln tar upp tre fördelar och fyra nackdelar med meta-analysen som forskningsmetod inom HR-forskningen.
Vad är en meta-analys?
Men först en definition. Vad är en meta-analys egentligen? Det finns flera olika typer av meta-analyser men det som är gemensamt för dem är att de består av en uppsättning statistiska procedurer utformade för att ackumulera forskningsresultat från flera enskilda studier med syftet att uppskatta relationen mellan variabler i en population. Det låter kanske lite krångligt, men enkelt förklarat handlar det om metoder för att summera forskningsresultat från flera studier.
Det underliggande antagandet är att varje enskild studie ger en uppskattning av relationen mellan variabler, och när resultaten från flera studier läggs ihop är det möjligt att komma fram till en mer korrekt uppskattning än vad en enskild studie kan generera.
3 fördelar med meta-analyser
Det finns flera fördelar med meta-analysen som metod. Här är tre av dem:
1 – Mer tillförlitliga uppskattningar
Meta-analysen är baserad på flera datapunkter, och antas därför ge en mer korrekt uppskattning av den genomsnittliga relationen mellan variabler än enskilda studier. Risken för att ett skevt urval eller mätfel påverkar resultatet blir mindre, eftersom fler studier (inte bara en) är del av analysen.
När en statistisk analys har fler datapunkter att analysera får den dessutom högre statistisk styrka eller power. Statistisk power är ett mått på sannolikheten att ett test upptäcker en skillnad mellan två eller flera grupper (om det finns en sådan). Högre power gör det alltså möjligt att upptäcka fler effekter än vad enskilda studier med lägre statistisk styrka kan.
2 – Möjligt att förklara oklarheter
Vid en genomgång av enskilda studier av samma fenomen är det lätt att hitta varierande eller rentav motsägelsefulla resultat. Med hjälp av meta-analysen är det möjligt att reda ut och förklara vissa av dessa oklarheter. En meta-analys kan exempelvis identifiera faktorer som påverkar relationen mellan två variabler genom att belysa skillnaden mellan olika studier. Om en meta-studie undersöker effekten av ledarskapsutvecklingsprogram kan den samtidigt urskilja vilka faktorer som kännetecknar mer effektiva och mindre effektiva program.
Läs mer: Ledarskapsutveckling – vad ger bäst resultat?
Inom områden där det finns mycket forskning kan det vara svårt att få en överblick och dra korrekta slutsatser, även vid en systematisk litteraturgenomgång. I dessa situationer är meta-analysen ett praktiskt verktyg.
3 – Möjligt att undersöka nya hypoteser
En meta-analys innehåller ofta, och bör innehålla, resultat från många studier – både publicerade och opublicerade sådana. När dessa analyseras och jämförs på nytt är det möjligt att testa hypoteser som inte testats tidigare eller som inte kan testas i enskilda studier. Exempelvis är det möjligt att identifiera skevheter bland publicerade och opublicerade studier.
4 nackdelar med meta-analyser
Det finns inte bara fördelar med meta-analyser utan även en del problem och utmaningar. Här är fyra av dem:
1 – Ofullständiga urval
Ett problem med meta-analyser är att urvalet av studier ofta är mer eller mindre ofullständigt. Det kan handla om att det är svårt att få tag på resultat från vissa studier, samt att många forskningsresultat (tyvärr) ligger bortglömda i forskarens skrivbordslåda.
Majoriteten av de studier som inkluderas i meta-analyser är publicerade sådana, vilket såklart inte är så konstigt. Problemet med det är dock att studier som publiceras ofta är de som har visat ett intressant resultat av något slag. Vissa tidningar har t.o.m. som krav att studien ska bekräfta hypoteser, vilket leder till att den publicerade litteraturen har en övervikt av positiva resultat. Därför är det viktigt att de som genomför meta-analyser anstränger sig för att hitta alla studier som finns inom ett visst ämne – även de som gömmer sig i en skrivbordslåda.
2 – Inkludering av dåligt genomförda studier
Här finns en knepig paradox. Samtidigt som det är viktigt att ta med alla relevanta studier i meta-analysen, så är det också viktigt att studierna har hög kvalitet. Vissa av de relevanta studierna kan ha reliabilitets- och/eller validitetsproblem, vilket gör det svårare att dra trovärdiga slutsatser från meta-analysen.
För att det ska vara möjligt att dra valida slutsatser från en meta-analys behöver den vara baserad på ett större antal valida studier med urval som är representativa för populationen. Detta är inte alltid helt enkelt att uppnå.
3 – Studier med små urvalsstorlekar
Även om meta-analysen i sig gör att antalet deltagare ökar så är det problematiskt att enskilda studier har små urvalsstorlekar. Små urval är nämligen förknippat med en ökad risk för skevhet och felaktiga slutsatser. När de enskilda studierna är baserade på små urval är det också svårare att hitta faktorer som påverkar resultatet.
4 – Olika metoder
Ytterligare en utmaning med meta-analysen som metod är när studierna i analysen har använt olika metoder. Det kan handla om olika mätmetoder och mätinstrument, insamling av olika typer av data, olika tidsupplägg av studien o.s.v. Att lägga samman resultat från studier som skiljer sig mycket i hur de har studerat ett fenomen kan i värsta fall leda till missvisande resultat och felaktiga slutsatser.
Vill du få HR-forskning direkt i din inkorg? Prenumerera på nya inlägg här:
Fortsätt läsa meta-studier, men…
Sammanfattningsvis är meta-analysen ett förhållandevis bra sätt att summera resultaten från flera studier inom ett visst forskningsområde. Du som läser dem kan fortsätta läsa med gott samvete. Däremot är det klokt att vara observant på:
- Urval som består av endast publicerade studier
- Ett litet antal studier
- Många studier med små urval
- Studier som verkar ha använt väldigt olika metoder
Tips på mer läsning
Bobko, P., Stone-Romero, E. F. (1998). Meta-analysis may be another useful research tool, but it is not a panacea. I G. R. Ferris (Red.), Research in Personnel and human resources management, Vol. 16 (s. 359-397). Elsevier Science/JAI Press
Murphy, K. R. (2017). What inferences can and cannot be made on the basis of meta-analysis? Human Resource Management Review, 27(1), 193-200
Ones, D. S., Viswesvaran, C., & Schmidt, F. L. (2017). Realizing the full potential of psychometric meta-analysis for a cumulative science and practice of human resource management. Human Resource Management Review, 27(1), 201-215
Stone, D. L., & Rosopa, P. J. (2017). The advantages and limitations of using meta-analysis in human resource management research. Human Resource Management Review, 27(1), 1-7
Lämna ett svar