dr Victor Wekselberg
Źródło: „Personel i Zarządzanie”, nr 11/2009
Koszty i walidacja metod selekcji menedżerów w Polsce
Jakość funkcjonowania polskich organizacji biznesowych zależy w dużym stopniu od kadry menedżerskiej. Działy HR coraz częściej stają przed dużym wyzwaniem precyzyjnego doboru najlepszych ludzi na stanowiska kierownicze. Wartość takich działań zależy od umiejętności przygotowania skutecznych procedur doboru oraz zastosowania najlepszych metod oceny kandydatów. Bardzo ważnym czynnikiem pod względem biznesowym jest optymalność kosztowa działań selekcyjnych.
Dalszy dynamiczny rozwój organizacji biznesowych w Polsce wymaga skuteczniejszych metod wyłaniania menedżerów z odpowiednimi predyspozycjami i kompetencjami. Aby poznać obecną sytuację w tym zakresie, Instytut Rozwoju Biznesu przeprowadził internetowe badanie skierowane do działów HR. Ankieta była dostępna na stronie internetowej IRB od kwietnia do czerwca 2009 r. Wypełniły ją 84 osoby. Informacja o ankiecie dodatkowo została przesłana do haerowców drogą e-mailową oraz umieszczona na portalach branżowych. Mimo iż badanie było anonimowe, połowa respondentów podała swój adres e-mail, co częściowo uwiarygodnia źródło otrzymanych informacji. Jednak wyniki badania powinny być traktowane z pewną ostrożnością ze względu na ograniczone możliwości zebrania w pełni reprezentatywnych danych drogą internetową.
Kryteria doboru metod selekcyjnych
Pierwsza grupa pytań zawartych w ankiecie dotyczyła kryteriów doboru metod selekcyjnych. Respondenci najczęściej wskazywali na trzy kryteria:
- zakres wymaganych kompetencji,
- zakres obowiązków na danym stanowisku oraz
- cechy kandydata pożądane przez przełożonego.
Chociaż powszechne stosowanie tych kryteriów jest zgodne z ogólną metodologią prowadzenia selekcji pracowników, to nie gwarantuje wyboru najlepszych metod selekcyjnych. Główną bowiem wadą takiego doboru kryteriów jest brak możliwości optymalizacji kosztów procedur selekcyjnych. Z badania wynika, że mniej niż 50 proc. pracowników działów HR uwzględnia kryterium kosztów w wyborze metod selekcyjnych i zaledwie 1/3 respondentów bierze pod uwagę liczbę kandydatów, która ma być objęta selekcją. Te dane potwierdzają, że w Polsce zbyt małą troskę przykłada się do kosztów stosowanych procedur selekcyjnych. Powstaje zatem pytanie, w jaki sposób uwzględniane są koszty selekcji, np. czy liczone są faktyczne wydatki ponoszone na kilka możliwych zestawów narzędzi selekcyjnych?
Wykres 1. Kryteria doboru metod selekcyjnych
Okazuje się, że dosyć często w dużych firmach zdarzają się sytuacje, gdy podczas przeprowadzania selekcji menedżerów w oczywisty sposób ignoruje się optymalność kosztów selekcji (zobacz przykład).
Przykład: W jednej z dużych firm przeprowadzano selekcję do grupy talentów. W pierwszym roku programu zastosowano metodę wywiadu strukturalizowanego przeprowadzanego przez dwie osoby z działu HR. Wstępną selekcją objęto ponad 100 osób. Z grupy tej, na podstawie wywiadu, zakwalifikowano do Development Center ok. 30 osób. W roku następnym rozważano możliwość przeprowadzenia wstępnej selekcji za pomocą jednego testu, ale po zebraniu ofert od konsultantów zdecydowano się powrócić do znacznie kosztowniejszej procedury selekcyjnej. Obliczenie różnicy w optymalności kosztowej w obu przypadkach było dosyć łatwe. Obok kosztów czasu trzech osób uczestniczących w każdym wywiadzie, doszły wydatki związane z podróżami, przerwą w pracy itd. W tym przypadku zastosowanie testu administrowanego przez internet byłoby kilka razy tańsze. Firma, mimo że przekazano jej powyższe argumenty, pozostała przy swoim.
Jednym ze sposobów optymalizacji procedur selekcyjnych jest zastosowanie wielofazowej selekcji (zobacz schemat 1), w której najpierw wykorzystuje się dostępne dane, następnie gromadzi informacje, opierając się na wynikach badań zbiorowych i na koniec stawia diagnozę na poziomie indywidualnym.
Schemat 1. Wielofazowa selekcja
Źródło: Instytut Rozwoju Biznesu
Metody selekcji menedżerów
Druga grupa pytań dotyczyła częstotliwości stosowania pięciu typów metod oceny kandydatów. Okazało się, że wywiady strukturalizowany i spontaniczny to dwie najczęściej stosowane metody w procesie selekcji menedżerów. Popularność wywiadów jest powszechnie znana, ale wygląda na to, że około 30 proc. organizacji w selekcji menedżerów korzysta jedynie z wywiadów nie sięgając po bardziej zaawansowane techniki, takie jak testy i AC. W polskiej rzeczywistości biznesowej liczba ta może być nawet zawyżona, ponieważ większość respondentów raczej pracuje w dużych organizacjach. Dane te można zinterpretować jako wskazujące na zbyt małe wykorzystanie dostępnych metod, innych niż wywiady.
Dalsza analiza pokazała, że w 28 proc. projektów AC nie stosuje się żadnych testów. Chociaż międzynarodowe wytyczne wymieniają także wywiady jako jeden ze sposobów zbierania danych z różnych źródeł, to doświadczeni psychologowie organizacji i pracownicy działów HR zdają sobie sprawę z tego, że wywiady mają ograniczoną trafność prognostyczną. Stosowanie sprawdzonych testów w programach AC pozwala zwiększyć ich skuteczność selekcyjną.
Wykres 2. Rodzaje metod stosowanych w selekcji menedżerów
Częstotliwość stosowania testów
Następna grupa pytań dotyczyła częstotliwości stosowania poszczególnych testów. Ze względu na mnogość dostępnych testów, w ankiecie zapytano o te najpopularniejsze. Respondenci mieli także możliwość dopisania innych stosowanych przez siebie testów. W ankietach wymieniono m.in.: SHL, Opteaman, Holland i FACET. Natomiast z ogólnie dostępnych testów do najczęściej wykorzystywanych przez ankietowanych należą: Extended Disc, NEO-FFI, EPQ-R, MBTI, APIS. Żaden z wymienionych wyżej testów nie osiągnął pozycji dominującej w zastosowaniu do selekcji menedżerów.
Jeśli decydujemy się na użycie jakiegoś testu, to najbardziej powinniśmy zwracać uwagę na to, czy przewiduje on interesujące nas zachowania menedżerów, ich poziom pracy i/lub to, co mierzy, wpływa na istotne kompetencje wymagane na danym stanowisku. Skąd mamy czerpać taką wiedzę? Jeden rodzaj informacji pochodzi od firmy, która sprzedaje nam test. Oczywiście warto zapoznać się z takimi informacjami, ale trzeba uważać, aby nie był to tylko opis marketingowy. Jedynym, względnie pewnym, źródłem informacji są publikacje naukowe poparte badaniami. Niestety, nasza raczkująca psychologia organizacji nie dostarcza nam takiej wiedzy o większości, jeśli nie wszystkich, testach stosowanych w Polsce. Pozostaje nam wiedza z badań poza Polską oraz możliwość walidowania testów w konkretnych organizacjach i konkretnych procedurach selekcyjnych.
Definicja: Walidacja to różnorodny zestaw działań, które pozwalają sprawdzić, czy dany test lub cała procedura selekcyjna działają zgodnie z naszymi oczekiwaniami. Najważniejsze jest zbadanie, czy wybrani w selekcji menedżerowie sprawdzają się w swojej pracy. W żargonie nazywa się to trafnością prognostyczną.
Według zebranych danych, w badaniach selekcyjnych menedżerów w Polsce dominuje pięć testów (zobacz wykres 3), chociaż wartość predyktywna dwóch z nich – Extended DISC i MBTI – jest wątpliwa. Mają one dwie cechy wspólne. Przede wszystkim brakuje na ich temat jakichkolwiek badań opublikowanych w czasopismach naukowych, które pozytywnie je weryfikują. Większość informacji o tych testach mamy od firm i konsultantów, którzy je sprzedają.
Wykres 3. Częstotliwość stosowania testów psychologicznych
Kolejny test – NEO-FFI – bada tzw. wielką piątkę globalnych cech osobowości (sumienność, stabilność emocjonalna, ekstrawersja, ugodowość oraz otwartość na doświadczenia). Badania prowadzone poza Polską pokazują ograniczoną moc predyktywną tego narzędzia, jeśli jest stosowane samodzielnie. Wielkość trafności predyktywnej dla różnych zawodów nie przekracza współczynnika korelacji r=0,26. Oznacza to, że siła predyktywna tego testu wynosi maksymalnie tylko 7 proc. NEO-FFI i EPQ-R nie zostały bowiem zbudowane pod kątem ich użyteczności w psychologii organizacji.
Optymalne podejście w stosowaniu testów zależy od wielkości firmy, w której pracuje. Jeśli jest to średnia albo duża organizacja, wprowadzenie nowych procedur selekcyjnych powinno być poprzedzone sprawdzeniem ich efektywności (m.in. trafności prognostycznej) dla danej instytucji i danego stanowiska pracy. Brak takiego badania oznacza, że nie mamy żadnej pewności, iż stosowana procedura dostarcza użytecznych informacji o kandydatach na stanowisko menedżerskie. Jeśli jest to mała firma, to walidacja powinna być oparta na zbudowanym systemie wiedzy z zakresu psychologii organizacji, a wartość poszczególnych metod (np. testów) powinna być poparta badaniami przeprowadzonymi w innych firmach.
Maksymalizacja efektywności testów
Wszystkie testy i inne narzędzia psychologiczne mają w jakimś stopniu ograniczoną precyzję pomiaru. Dobra praktyka zawodowa sugeruje konieczność maksymalizacji efektywności narzędzi psychologicznych. Jednym z takich sposobów jest tzw. krzyżowanie pomiaru. Polega to na stosowaniu przynajmniej dwóch narzędzi do badania tych samych lub podobnych właściwości psychologicznych (cech, kompetencji, zdolności etc.). Krzyżowanie pomiaru psychologowie zwykle osiągają poprzez zastosowanie dwóch testów mierzących tę samą charakterystykę psychologiczną. Badania pokazały, że zaledwie 16 proc. osób (z 55 proc. wszystkich organizacji stosujących testy) zadeklarowało używanie więcej niż dwóch testów.
Tabela. Stosowanie testów w firmach
| Liczba testów | % osób |
| 0 | 45 |
| 1 | 27 |
| 2 | 12 |
| pow. 2 | 16 |
Według wyników ankiety, walidacja procedur selekcyjnych stosowanych w doborze menedżerów jest w Polsce jeszcze bardzo rzadkim zjawiskiem. Około ? badanych stwierdziło, że nie przeprowadza żadnych badań sprawdzających efektywność stosowanej procedury selekcyjnej. Poza tym nie ma pewności, czy w 19 proc. przypadków jest to prawdziwa walidacja oparta na rzetelnej metodologii.
Wykres 4. Czy dokonano jakichkolwiek analiz walidacyjnych – sprawdzenia efektywności procedury selekcyjnej (tj. trafność treściowa, trafność prognostyczna, metaanaliza)?”
Ocena procedur selekcyjnych
Jeśli chodzi o jakość procedur selekcyjnych menedżerów, to okazało się, że panuje optymizm, ponieważ aż 95 proc. respondentów oceniło je jako zawsze lub zwykle się sprawdzające. Skoro ? badanych zadeklarowało, że nie przeprowadza żadnych badań sprawdzających efektywność procedur selekcyjnych, to pojawia się pytanie, czy ten optymizm oparty jest na solidnych podstawach? A może warto przeznaczyć choć część środków w badaniach selekcyjnych na sprawdzenie, czy działają one dostatecznie efektywnie i czy w związku z tym opłaca się stosowanie danej procedury selekcyjnej.
Wykres 5. Jak oceniasz procedurę selekcyjną menedżerów stosowaną w Twojej firmie?
Analiza statystyczna pokazała, że procedura selekcyjna oparta tylko na wywiadzie została oceniona (3,83) niżej, niż stosowanie wywiadu i AC (4,40), natomiast stosowanie wywiadu, testu i AC zostało ocenione na 4,21, zaś wywiadu i testu – 4,11. Wynika z tego, że rodzaj stosowanych metod praktycznie nie ma wpływu na ocenę efektywności procedur selekcyjnych.
Wnioski z badania
Na podstawie przeprowadzonych badań można stwierdzić, że zbyt wiele organizacji stosuje testy nie zweryfikowane pod kątem jakości dostarczanych informacji. Dla części pracowników działów HR wystarczy, że test czy inna metoda „dobrze wyglądają”. W żargonie psychologicznym nazywa się to „trafnością fasadową”.
Deklarowany przez ankietowanych duży optymizm co do efektywności procedur selekcyjnych powinien być weryfikowany empirycznie. Przyjmuje się wiele na tzw. wiarę, a gdy dane nie są zgodne z oczekiwaniami, zbyt często po prostu ignorujemy dane lub je „korygujemy”. Optymizm nie oparty na faktach i ignorowanie trudności mogą być zabójcze, gdy chodzi o organiczny rozwój polskiego biznesu.
Skuteczność selekcji menedżerów można podnieść poprzez zastosowanie odpowiednio dobranego zestawu narzędzi. Optymalne procedury selekcyjne dostosowują poszczególne narzędzia do liczby kandydatów oraz poniesionych kosztów. Już tylko stosowanie narzędzi przygotowanych i sprawdzonych w badaniach naukowych automatycznie podwyższa skuteczność doboru.
Istnieje potrzeba budowy testów selekcyjnych na stanowiska menedżerskie i weryfikowanie ich w Polsce. Zbyt mało testów stosowanych w naszym kraju jest zbudowanych na potrzeby badania menedżerów, ale można adaptować wiele narzędzi, które na świecie są stosowane z dobrymi rezultatami. Na przykład są to nowoczesne testy badające style przywództwa (np. Multifactor Leadership Questionnaire, Bass & Avolio) czy sytuacyjne testy decyzyjne, które mierzą kompetencje menedżerskie (np. Tacit Knowledge Inventory for Managers, Wagner & Sternberg).