Ośrodek oceny

Ośrodek oceny (Assessment Center) może być skutecznym narzędziem selekcji kandydatów, jeśli są ściśle przestrzegane wymogi metodologiczne i reguły etyczne.

Raport z wyników badania Instytutu Rozwoju Biznesu nad stosowaniem ośrodka oceny (Assessment Center)

Anna K. Baczyńska, Victor Wekselberg

Źródło: “Personel i Zarządzanie”, nr 9/2009

Menedżer, który projektuje lub zamawia usługę Assessment Center (AC) dla swojej organizacji, powinien nie tylko dobrze skalkulować koszty tego przedsięwzięcia, lecz także dopilnować wszystkich wymogów metodologicznych, jakie niesie ze sobą ta metoda selekcji. W przeciwnym razie wydane pieniądze będą zmarnowane.

Pieniądze stracone na źle przeprowadzony Assessment Center to nie wszystko. Istnieje jeszcze równie ważny, o ile nie ważniejszy, aspekt etyczny wynikający ze źle przeprowadzonej selekcji. Jak często zastanawiamy się nad tym, że przyjmując kogoś do pracy zmieniamy mu życie na rok, dwa, dwadzieścia lat. Zła rekrutacja niesie za sobą nie tylko twarde w swoich wymiarach straty czasowe i finansowe dla organizacji, ale również ogromne straty psychiczne dla osoby, która została zatrudniona, a następnie źle wykonuje swoją pracę. Konsekwencją źle przeprowadzonej selekcji jest rozczarowanie zarówno po stronie pracodawcy, jak i pracownika. Szczególnie jest to ważne w przypadku zatrudniania osoby do pierwszej pracy. Osoby dobrze startujące w życie zawodowe osiągają większe sukcesy zawodowe w przyszłości w odróżnieniu od tych osób, które miały nie udane początki w swojej pracy (Dreher & Bretz, 1991 za Schulz, D.P, 2002).

Instytut Rozwoju Biznesu przeprowadził w I kwartale 2009 r. badanie na temat: “Praktyka stosowania AC w Polsce” Badanie zostało przeprowadzone metodą ankietową. Wzięło w nim udział 44 osoby, wśród nich m.in. asesorzy.

Ośrodek oceny – istotne aspekty

Projektując AC warto zwrócić uwagę na kilka ważnych kwestii, które zostały wypracowane 4 maja 2000 r. w San Francisco podczas “Międzynarodowego kongresu poświęconego metodom ośrodka oceny” (The International Congress on Assessment Center Methods) przez badaczy i praktyków metody Assessment Center. Przystępując do projektowania AC należy zadbać o to, aby wystąpiły wszystkie poniższe elementy:

1. Analiza stanowiska pracy – przeprowadzona na poziomie zachowań pozwala określić wymiary, kompetencje, atrybuty i wskaźniki efektywności na danym stanowisku, za pomocą których stwierdza się, co AC powinien oceniać. Wynik każdej analizy stanowiska pracy musi jednoznacznie wskazywać na kategorię obserwowanego zachowania.
2. Klasyfikacja behawioralna – zachowania obserwowane u uczestników AC należy klasyfikować w jasne i odpowiednie kategorie (np. wymiary, atrybuty, charakterystyki, zdolności, umiejętności, kompetencje, wiedza).
3. Techniki oceny – muszą zapewniać uzyskanie za ich pomocą informacji niezbędnych do oceny wymiarów wybranych uprzednio na podstawie analizy stanowiska pracy. Powinny zostać ustalone związki pomiędzy zachowaniami, kompetencjami oraz ćwiczeniami.
4. Wielostronna ocena – należy stosować połączenie różnych technik oceny (testy, wywiady, kwestionariusze, narzędzia socjometryczne, symulacje).
5. Symulacje – techniki oceny muszą zawierać odpowiednią liczbę symulacji ściśle związanych ze stanowiskiem pracy, dających możliwość obserwacji zachowań kandydata, reprezentujących każdą z ocenianych kompetencji bądź wymiarów.
6. Asesorzy – konieczne jest wykorzystanie kilku asesorów, którzy będą obserwować i oceniać każdą osobę ocenianą. Typową proporcją jest dwóch ocenianych na jednego oceniającego.
7. Szkolenia asesorów – asesorzy przed dopuszczeniem do uczestnictwa w ośrodku oceny (AC) muszą odbyć dogłębne szkolenia i uzyskać poziom wykonania zgodny z dokumentem “Wytyczne i reguły etyczne dotyczące stosowania ośrodka oceny”¹.
8. Rejestracja zachowań – asesorzy muszą stosować usystematyzowaną procedurę rejestracji konkretnych obserwacji behawioralnych w chwili obserwacji (np. sporządzać notatki odręczne, skale obserwacji behawioralnej lub behawioralne “listy kontrolne”, rejestrować dźwięk i obraz).
9. Raporty – osoby oceniające muszą sporządzić raport z obserwacji poczynionych podczas każdego ćwiczenia przed dyskusją integracyjną lub integracją statystyczną.
10. Integracja danych – musi być oparta na zgromadzeniu informacji od asesorów lub procesie integracji statystycznej, zwalidowanym zgodnie z profesjonalnymi standardami. Podczas dyskusji integracyjnej osoby oceniające powinny przekazać informacje pochodzące z oceny zachowania w trakcie symulacji, ale nie zdawać relacji nie związanych z celem oceny.
11. Walidacja – (badania sprawdzające skuteczność metody) powinna być integralną częścią programów AC. Jeżeli w ramach walidacji badana jest trafność treściowa, wówczas należy przedstawić dokumentację opisującą związek pomiędzy treścią stanowiska/grupy stanowisk a wymiarami i ćwiczeniami, a także dowody rzetelności obserwacji i oceny zachowania. W przypadku gdy dokumenty pochodzą z wcześniejszych badań, organizacja musi udowodnić, iż aktualne stanowisko (grupa stanowisk) i ośrodek oceny są porównywalne i możliwe do generalizacji do tego stanowiska.

Ośrodek oceny (Assessment Center) w polskiej rzeczywistości

Wyniki badania pokazują wiele rozbieżności prowadzenia AC ze standardami światowymi. Osoby, które wzięły udział w badaniu i wypełniły ankietę, podały następujący rodzaj doświadczenia związanego z AC:

• asesorskie (50 proc.),
• udział w budowaniu systemu AC (25 proc.),
• zlecenie usługi (25 proc.).

Wyniki badania “Praktyka stosowania AC w Polsce”

Źródło: Raport z badania “Praktyka stosowania AC w Polsce, IRB 2009

Konfrontacja z praktyką światową

Największą rozbieżność ze standardami światowymi pokazały odpowiedzi na cztery pierwsze pytania (mniej niż 51 proc. respondentów odpowiedziało na “tak”) wg zamieszczonej powyżej tabeli wyników.

Analiza walidacyjna

Pytanie: 1 Czy dokonano jakichkolwiek analiz walidacyjnych – sprawdzenia efektywności AC (tj. trafność treściowa, trafność prognostyczna, metaanaliza)?

Z badania wynika, że zaledwie nieco ponad 18 proc. respondentów stosuje jakiekolwiek metody walidacyjne. Oznacza to, że w Polsce tak naprawdę nie wiemy, jak działa ośrodek oceny (AC). Wydajemy zatem niebagatelne pieniądze na dobór personelu za pomocą AC, a nie interesujemy się skutecznością tego działania. Jednym z kluczowych wymogów budowania efektywnych systemów AC jest sprawdzenie, w jakim stopniu one działają. Bez badań walidacyjnych nie można twierdzić, jaka jest przeciętna wartość wskaźnika trafności prognostycznej w naszym kraju. Dlatego wydaje się, że przedstawiane w polskich publikacjach wartości wskaźnika korelacji (mierzącego trafność prognostyczną AC) na poziomie 0,5 – 0,62 są zawyżane.

Kompetencje asesora

Pytanie 2. Czy sprawdzono w ramach szkolenia poziom przygotowania asesorów do danego AC.

Międzynarodowe standardy kładą bardzo duży nacisk na szkolenie asesorów. Powinno ono zawierać trening frame-of-reference, który polega na wypracowaniu przez wszystkich asesorów jednolitego sposobu interpretowania zachowań. Najprostszą i najszybszą formą takiego treningu jest wnikliwa analiza modelu kompetencyjnego przed symulacją AC. Asesorzy powinni go najpierw przeczytać, a następnie przedyskutować i omówić rozumienie poszczególnych poziomów. Warto również zrobić przynajmniej jedną symulację próbną przed właściwym AC, a następnie omówić ocenę kompetencji. Wymagane jest także w ramach takiego treningu sprawdzenie, czy wszyscy asesorzy zostali optymalnie przygotowani do swojej roli. Tylko 36 proc. respondentów podało, że takie sprawdzenie efektywności szkolenia miało miejsce. Może to wynikać z faktu, że w Polsce część osób traktuje bycie asesorem jako umiejętność nabytą w wyniku doświadczenia, która nie wymaga i nie ma związku z koniecznością przeprowadzania samego szkolenia.

Bilans obserwacji

Pytanie 3. Czy poszczególni asesorzy przed uzgadnianiem ocen sporządzają raport z własnych obserwacji, zawierający rekomendacje ocen?

Wg standardów międzynarodowych asesorzy powinni sporządzać raporty po każdym ćwiczeniu. Dokumentacja musi zawierać indywidualne oceny poszczególnych kompetencji, czyli każdy asesor sporządza po obserwacji danej osoby w konkretnym ćwiczeniu ocenę monitorowanej kompetencji. Wymóg ten wynika z potrzeby przygotowania pełnej i jak najbardziej obiektywnej oceny wszystkich obserwacji zebranych przez asesorów. Stosowanie takich raportów (ocen kompetencji dokonywanych po każdym ćwiczeniu) pozwala także na ocenę pracy asesorów oraz na analizę efektywności działania AC. Zaledwie około połowa respondentów stwierdziła, że takie raporty są stosowane. Tylko dostępność ocen wypracowanych przez każdego asesora umożliwia zastosowanie statystycznej metody podsumowywania oceny kompetencji uczestników AC.

Ośrodek oceny – na styku reakcji i fachowości

Pytanie 4. Czy ustalono, w jakimkolwiek badaniu, związki pomiędzy zachowaniami a kompetencjami?

Jakość modelu kompetencyjnego wpływa w sposób krytyczny na skuteczność i efektywność systemów AC. Firmy często zamawiają gotowe modele kupowane od firm konsultacyjnych, które czasami próbują, dostosować je trochę do specyfiki organizacji. Modele “szyte” dla konkretnej organizacji, gdzie uwzględnia się jakościowe wymiary zadań na danych stanowiskach, dają nam gwarancję skutecznego pomiaru.

Firmy zamawiają ośrodek oceny (AC) bez gotowości do budowania dobrego modelu kompetencyjnego, którego ważnym elementem jest sprawdzenie prawidłowości przyporządkowania kompetencjom poszczególnych zachowań. Sprawdzenie to może się odbywać, na przykład, w badaniu z udziałem tzw. sędziów kompetentnych. Nie wystarczy tylko dyskusja kilku osób lub arbitralne przyporządkowanie przez jakiegoś eksperta. Wynik badania pokazuje, że tylko w połowie przypadków respondenci deklarowali, że jakiekolwiek badanie było przeprowadzone. Brak sprawdzenia tego przyporządkowania może wpływać na małą precyzję pomiaru kompetencji, a także mniejsze niż pożądane zróżnicowanie kompetencji. Na przykład, zachowanie “jest obiektywny w ocenie innych osób” może należeć zarówno do kompetencji “motywowanie”, jak i “ocena i rozwój”.

Wskazówki na przyszłość

Wyniki badania potwierdziły, że jakość przygotowania i stosowania metod AC w Polsce nie zawsze jest zgodna ze światowymi standardami. Najwięcej pracy mamy w obszarach jakości:

• modeli kompetencyjnych,
• kadry asesorskiej,
• przygotowania i prowadzenia sesji.

Największy niepokój zaś budzi brak:

• przeprowadzania badań walidacyjnych, które sprawdzałyby efektywność przeprowadzonych sesji AC,
• stosowania zasady wykorzystywania różnorodności metod,
• weryfikacji poziomu przygotowania kadry asesorskiej.

¹ Dokument zatwierdzony przez 28. “Międzynarodowy kongres poświęcony metodom ośrodka oceny” (The International Congress on Assessment Center Methods), w wersji angielskiej dostępny na stronie: www.assessmentcenters.org

Zobacz ofertę doradczą z zakresu AC i DC:

• Assessment Centre i Development Centre
• Development and Learning Center (DLC)
• Indywidualny Assessment Center

Kurs dla asesorów:

Certified Assessor for Assessment & Development Centre (CAADC)