Czytacie raporty branżowe dla HR? No pewnie! Większość z nas czyta, ja również. Przeglądając je, wiele razy trafiłem na takie, które zwiastowały wielkie rewolucje, krzyczały nagłówkami i uderzały po oczach oszałamiającymi wykresami. A jednak, większość z nich zostaje zapomniana po kilku dniach od publikacji. A przecież obiecywały tak wiele…
Dlaczego tak jest?
Wiele z tych raportów zawiera trzy drobne błędy analityczne, które delikatnie określić można mianem niedopowiedzeń, a bardziej dosadnie, próbą statystycznej manipulacji w celu wywołania ekscytacji odbiorców. Błędy te powodują, że czytelnik może odnieść mylne wrażenie dużego znaczenia prezentowanych mu danych. Może pomyśleć, że z raportu rzeczywiście wynikają istotne wnioski. W rzeczywistości, uległ jednak złudzeniu, które zostało wywołane przez wspomniane wyżej błędy.
Poznajmy je, aby czytać lepiej, bardziej wnikliwie i krytycznie.
Błąd nr 1 – Niewłaściwe porównywanie średnich
„Pokolenie Y ceni kreatywność pracy wyżej niż pokolenie X. Nasze miejsca pracy zabijają możliwości młodego pokolenia” – tak mógłby krzyczeć niejeden z nagłówków dobrego tekstu o młodym pokoleniu. Dodatkowo, jeśli dalej wczytalibyśmy się w tekst, to odkrylibyśmy, że pokolenie Y oceniło znaczenie kreatywności na 5,52 na skali od 1 do 7, a pokolenie X, dajmy na to na 4,82.
I co z tego wynika dla czytelnika?
NIC!
Tego typu analizy, które przyrównują do siebie dwie średnie (na dowolnej skali), nie uwzględniając odchyleń standardowych, są zupełnie bezwartościowe. I nie ma znaczenia czy porównujemy 5,52 do 4,82 na skali 1-7 czy 1,22 do 2,21 na skali 1-3.
Popatrzmy na wykres, który prezentuje dwa możliwe scenariusze. W obu z nich, każda z grup ma tę samą średnią. Jednak, o ile w pierwszym przypadku nie mamy wątpliwości, że grupy się od siebie różnią, o tyle w drugim, te wątpliwości są już bardziej uzasadnione. Dlaczego? Bo rozkłady danych w drugim scenariuszu mają dużo większe odchylenie standardowe niż te w pierwszym i w związku z tym nachodzą na siebie. A to składnia nas do przekonania, że różnica między średnimi może być mniej znacząca niż nam się wydawało za pierwszym razem.
Jednak jeśli nie znamy wartości odchyleń standardowych– tak jak dzieje się to w większości raportów branżowych, to nie mamy pojęcia, czy prezentowane dane są bliższe tym z górnego wykresu, czy może tym z dolnego.
Wskazówka praktyczna:
Kiedy czytasz raport który porównuje średnie w opisany tutaj sposób, to pamiętaj, że na podstawie tych danych nie sposób wyciągnąć jakichkolwiek sensownych wniosków. Nawet jeśli autor tekstu bardzo upiera się przy odmiennym zdaniu.
Błąd nr 2 – Magia procentów
To chyba najczęściej pojawiający się błąd w raportach branżowych dla HR. O co w nim chodzi? Właściwie w każdym znajdziemy wykres, na którym podawane są procenty osób, które zaznaczyły jakąś odpowiedź. Na przykład badani mogli zostać zapytani o kluczowe kompetencje jakich potrzebują współcześnie rekruterzy i mieli wybrać kilka (np. 5), które są ich zdaniem kluczowe. I tak oto powstał wykres przypominający ten poniżej.
Wszystko wygląda OK, prawda? No właśnie tylko wygląda, ale tak naprawdę z tych danych[1] również nie wynikają dla nas żadne sensowne wnioski. Dlaczego? Po pierwsze, Kompetencję 1 wskazało 60% osób (mogąc wybrać aż 5 odpowiedzi). To znaczy, że 40 % jej NIE wybrało… A trzecią kluczową kompetencję wybrało 47% osób… to znaczy, że NIE wybrało jej 53% osób… Hmm, to chyba więcej niż 47%, które ją wybrało… Upss…
Ale ważniejsze jest jeszcze coś innego.
To co wybiorą badani, zależy od tego jakie odpowiedzi przygotował dla nich autor raportu – badacz. Popatrzmy na dwa badania na poniższym rysunku.
Są trochę dziwne, ale chodzi mi tutaj o wyłuszczenie mechanizmu. W pierwszym z nich (A), na pytanie „Lubię kiedy mój szef…”, do wyboru były tylko dwie odpowiedzi. Zważywszy na to, że generalnie niewiele osób lubi być poniżanymi przez szefa, wniosek z badania pokazuje, że ludzie są materialistami. 99,99% badanych lubi przecież motywację finansową. Jednak, jeśli nasze mocno absurdalne badanie wzbogacimy o dodatkową odpowiedź, wszystko może się zmienić. Teraz ludzie chcą feedbacku, pieniądze mają już mniejsze znaczenie….Przestali być materialistami, pragną rozwoju…
Efekt ten występuje w każdym badaniu, choć jest trudniejszy do zauważenia, bo przeważnie badacze oferują więcej niż 2 lub 3 odpowiedzi do wyboru. Jednak, nie zmienia to faktu, że sposób w jaki konstruują listę możliwych opcji jest tutaj kluczowy, a o tym w większości raportów nie przeczytamy nic…
I jeszcze jedno. Ktoś może powiedzieć, że przecież ludzie mają swoje preferencje, wiedzą co lubią i co jest dla nich ważne, a co nie. To nie jest tak, że zmieniamy swoje preferencje w zależności od pytania w badaniu…. No cóż, jest dokładnie odwrotnie, tzn. nie znamy swoich preferencji i ciągle je zmieniamy. Pokazały to między innymi badania Arielego – ale to już temat na inny tekst.
Błąd nr 3 – Zmiana skali na wykresie
No dobrze, może nie jest to błąd sensu stricto, ale na pewno zabieg, który może wprowadzić sporo zamieszania. Wyobraźmy sobie dwa wykresy, porównujące np. zadowolenie pracowników w firmach prywatnych i państwowych. Dajmy na to, że pracownicy w tych pierwszych są zadowoleni na 76 punktów na 100- punktowej skali, a w tych drugich na 69 punktów. To jak autor raportu wyskaluje oś Y, robi naprawdę sporą różnicę w wyglądzie wykresów.
A jak powszechnie wiadomo, obraz wart tysiąc słów….
Wskazówka praktyczna:
Warto zwracać uwagę na skalę wykresów, a dokładnie na to, czy wykres nie zawęża tej skali i przez to nie sugeruje nam dużej różnicy między grupami. To może nas wprowadzać w błąd podczas czytania raportów. Szczególnie, że MS Excel najczęściej sam dokonuje takiego przycięcia skali na większości wykresów.
Jak więc czytać raporty branżowe dla HR? – praktyczna wskazówka
No cóż, warto czytać uważnie. Wniosek może dość banalny, ale w praktyce bardzo trudny do zrealizowania, szczególnie w świecie, który każdego dnia serwuje nam nowy, rewolucyjny raport branżowy. Mam w związku z tym nadzieję, że powyższy tekst pomoże Wam przebić się przez gąszcz danych i analiz, z których nic nie wynika i odkryć tę perełkę… którą warto zapamiętać i wykorzystać w praktyce. Powodzenia!
PS. Jeśli sami chcecie napisać swój raport branżowy dla HR i uniknąć powyższych problemów to zachęcam Was do eksploracji tematu wielkości efektu w statystyce. Znajomość tego zagadnienia pomoże Wam uniknąć opisanych tu błędów.
Sprawdź mój film pt.: Krytycznie o trendach w HR, w którym zastanawiam się, czy one realne znaczenie dla naszych firm.
——————————————————————————————–
[1] Oczywiście, gdyby te dane były prawdziwe, te na wykresie zmyśliłem na potrzeby artykułu. Ale to nie ma znaczenia bo większość wykresów tak właśnie wygląda. ,
