W moim poprzednim tekście opisałem cztery podstawowe błędy analityczne związane ze średnią, jakie często popełniamy analizując dane w HR. Dzisiaj pora na kolejne trzy… plus.. trzy wnioski praktyczne…
Błąd 5 – Porównywanie średnich „na oko”
Wyobraźcie sobie taką sytuację. Duża firma z branży motoryzacyjnej. Jej menedżerowie i pracownicy przeszli niedawno ocenę 360 stopni. Całość badania przeprowadziła topowa polska firma doradcza. Spotykam się z przedstawicielami firmy doradczej oraz działem HR aby omówić wyniki i zaplanować program rozwojowy dla kadry menedżerskiej. Wszystko brzmi pięknie. Aż tu nagle, firma doradcza pokazuje taki oto obrazek:
Wykres przedstawiony przez konsultanta pokazywał średnie oceny jakie uzyskali menedżerowie podczas pomiaru jedenastu badanych przez firmę kompetencji (usunąłem ich nazwy aby nie dało się rozpoznać o jaką firmę chodzi). I niby wszystko jest ok, a właściwie tak, jak to zwykle bywa. Ale potem konsultant dodał do wykresu swoje rekomendacje i stwierdził, że firma powinna zainwestować fundusze w rozwój kompetencji, które wypadły najsłabiej, czyli jego zdaniem, poniżej średniej na poziomie 5,0. Natomiast, pozostałych nie trzeba rozwijać bo wypadły stosunkowo dobrze.
Przyznam, że byłem zszokowany. Program dla menedżerów miał kosztować ponad 300 tys. złotych. Badanie pewnie kosztowało drugie tyle. A tu na podstawie powyższego wykresu słyszymy rekomendację… no cóż, delikatnie rzecz ujmując błędną.
Porównywanie średnich w powyższy sposób jest zwyczajnie błędne.
Dlaczego? Są przynajmniej dwa powody (a może więcej?…).
Po pierwsze, porównując średnie trzeba uwzględnić rozproszenie wyników, czyli tak zwaną wariancję lub odchylenie standardowe. Popatrzmy na poniższe zbiory danych:
Zbiór danych A: 1, 2, 3, 4, 5 – średnia = 3
Zbiór danych B: 3, 3, 3, 3, 3 – średnia = 3
Średnie te same… ale zupełnie inne historie płynące z ich interpretacji. Podobnie może być w przypadku naszych kompetencji. Średnie mogą być bardzo podobne… ale czy opowiadają tę samą historię? Tego z relacji naszego konsultanta nie dało się tego dowiedzieć.
Co więcej, może być też tak, że średnie „na oko” różnią się od siebie dość znacznie, ale wyniki wokół nich są tak bardzo rozproszone, że różnica ta przestaje mieć znaczenie. Trochę tak jak na poniższym rysunku:
Po drugie, to że średnie się od siebie różnią „na oko” nie znaczy jeszcze, że różnica ta ma jakiekolwiek znaczenie praktyczne. Warto być tym bardziej ostrożnym, jeśli w grę wchodzi wydanie 300 tys. zł na rozwój pracowników. Czy kompetencja nr 11 mająca średnią 4,89 naprawdę jest oceniana dużo niżej niż ta z nr 1 i średnią 5,23? A jeśli porównamy ją do tej z nr 5?
Właśnie dlatego NIE wolno porównywać średnich „na oko”. Chociaż mam wrażenie, że większość rozumnego i wykształconego świata robi to nie przejmując się konsekwencjami…
Wniosek praktyczny:
Jeśli porównujemy średnie to powinniśmy uwzględnić rozproszenie wyników w naszych zbiorach danych oraz ocenić czy różnice mają jakiekolwiek znaczenie praktyczne. Przekładając to na język analizy danych, przy porównaniu średnich warto użyć testów różnic (np. Z, t, F) i na ich podstawie policzyć tak zwane miary wielkości efektu (np. d Cohena, eta-kwadrat) – o tym jak to zrobić, też postaram się napisać…
Wniosek praktyczny 2:
Jeśli ktoś porównuje średnie „na oko” i wyciąga z tego wnioski to… nie słuchajcie jego rekomendacji…
I jeszcze jedno. Dokończę historię. Poprosiłem konsultanta o dane źródłowe. Przeprowadziłem interesujące mnie analizy z wykorzystaniem miar wielkości efektów… i zgadnijcie co się okazało…???
Błąd 6 – Porównywanie średniej przed i po „na oko”
Ten błąd jest bardzo podobny do poprzedniego, statystycznie rzecz ujmując polega na tym samym. Chociaż mam wrażenie, że jest jakoś mniej oczywisty…
Jako przykład wyobraźmy sobie następującą historię. Z firmy „Pączkosoft” odchodzi dyrektor sprzedaży. Cały zarząd zaczyna więc gorączkowo spotykać się z kandydatami. Wszyscy oczywiście martwią się o wyniki sprzedażowe. Wszakże poprzedni dyrektor uważany był za cudotwórcę i guru handlu. W całym tym napięciu przychodzi nowy człowiek i zaczyna działać. W efekcie po dziesięciu miesiącach robiona jest analiza sprzedaży:
Średnia miesięczna sprzedaż za czasów STAREGO dyrektora: 21 tys. sztuk
Średnia miesięczna sprzedaż za czasów NOWEGO dyrektora: 21 tys. sztuk
Wszyscy dochodzą do wniosku, że jest OK. Prawda? Prawda, chyba, że wykres sprzedaży za ostatnie miesiące wygląda tak jak poniżej:
No i już widzimy, że nic nie jest OK. Przyjście nowego dyrektora nie obniżyło poziomu sprzedaży. Doprowadziło jednak do rozregulowania procesu. W związku z tym zwiększyła się zmienność, pomimo braku różnic w średniej.
Ogólnie rzecz biorąc mechanizm jest ten sam. Porównywanie średniej „na oko”, czyli bez uwzględnienia zmienności. Tym razem jednak zmienności w czasie.
Wniosek praktyczny:
Jeśli porównujemy średnie z dwóch okresów trzeba koniecznie uwzględnić zmienność wyników. Można to zrobić obliczając dodatkowo odchylenia standardowe lub dowolne inne miary rozproszenia wyników. Warto pamiętać o tym, że różnica między dwoma okresami lub grupami może być widoczna nie tylko w średniej ale również w rozproszeniu wyników.
Błąd 7 – Obliczanie średniej dla rozkładów wielomodalnych
Od razu przepraszam jeśli kogoś urażę tym przykładem. Jest tak oczywisty, że aż zastanawiałem się czy go podawać. Ale może jednak warto…
Średniej nie powinniśmy liczyć również dla rozkładów wielomodalnych, czyli takich, które mają kilka bardzo często występujących wartości. Najczęściej spotkamy się z rozkładem dwumodalnym:
Jeśli nasze dane mają taki rozkład to średnia najczęściej wypadnie gdzieś po środku, czyli na wartościach występujących stosunkowo rzadko. Nie będzie więc dobrym podsumowaniem danych o takim rozkładzie.
Kiedy będziemy mieć do czynienia z tak „dziwnymi” danymi? W rzeczywistości dzieje się tak często wtedy, gdy połączymy sztucznie w jednym zbiorze danych jakieś dwie grupy, które znacznie różnią się od siebie wynikami. Ostatnio widziałem taką sytuację, kiedy w badaniu satysfakcji do jednego worka wrzucono wyniki osób z działów inżynierii i produkcji. Pierwsza z tych grup była zdecydowanie bardziej zadowolona z pracy niż druga. W efekcie, po połączeniu wyników okazało się, że mamy do czynienia z dwoma dominującymi wartościami.
Wniosek praktyczny:
Przed policzeniem średniej warto sprawdzić jak rozkładają się wyniki w naszym zbiorze danych. Jeśli mamy w nim kilka różniących się od siebie grup, to istnieje ryzyko rozkładu wielomodalnego. Liczenie średniej dla takich danych mija się z celem. Kluczowe jest tutaj odkrycie z jakimi podgrupami mamy do czynienia. A potem rozdzielenie danych na odpowiednie podzbiory i policzenie dla każdego z nich wartości średniej.
Na zakończenie
Opisywane powyżej błędy analityczne rzecz jasna nie wyczerpują tego jak niewłaściwie wykorzystywana jest średnia w analizach HR. Jestem bardzo ciekaw Waszych doświadczeń, obserwacji i przykładów…. Będzie mi bardzo miło jeśli się nimi podzielicie w komentarzach. Dzięki temu będę mógł napisać kolejne teksty… Z góry dzięki. 😊 A jeżeli jesteście zainteresowani tematyką analityki HR, to koniecznie zasubskrybujcie newsletter HRM Academy lub mój kanał na YouTube. Cześć!efekcie
