Metoda Assessment Centre i Development Centre – najważniejsze międzynarodowe wytyczne
dr Victor Wekselberg
Metoda Assessment Centre i Development Centre (AC/ DC) jako narzędzia selekcyjno-rozwojowe stały się bardzo popularne w ciągu ostatniej dekady. Powstaje pytanie czy ich szerokie stosowanie w Polsce idzie w parze z jakością przygotowania i stosowania. Wątpliwości rodzą się, gdy uświadomimy sobie fakt, że firmy i ich specjaliści nie słyszeli o światowych standardach dla AC/DC. A międzynarodowe standardy („Wytyczne i zasady etyczne stosowania metody assessment center” International Task Force on Assessment Center Guidelines) – są publikowane od ponad 20 lat. Ostatnia wersja dokumentu została opublikowana w 2000 roku. Szczegółowo opisuje zasady przygotowywania i stosowania AC/ DC. Dokument został opracowany przez międzynarodową grupę dziewięciu ekspertów i jest już czwartą wersją „Guidelines” (poprzednie: 1975, 1979, 1989). Przetłumaczone „Wytyczne” umieściliśmy na naszej stronie prawie dwa lata temu.
Najważniejszą częścią dokumentu jest lista dziesięciu niezbędnych elementów AC. Poniżej krótkie cytaty z „Wytycznych” oraz hipotezy na temat prawdopodobnej sytuacji w Polsce. Hipotezy te oparte są na naszej znajomości praktyk konsultacyjnych w Polsce. Instytut przygotowuje raport z badania, w którym poddaliśmy empirycznej weryfikacji przedstawione niżej hipotezy.
1. Analiza stanowiska pracy. Należy ją przeprowadzić na poziomie zachowań, aby określić wymiary, kompetencje, atrybuty i wskaźniki efektywności na danym stanowisku, za pomocą których stwierdza się, co ośrodek oceny powinien oceniać.
W Polsce firmy świadczące usługi AC/DC zwykle oferują zestaw kompetencji oraz ćwiczeń do ich pomiaru. Nie dokonuje się formalnej analizy stanowiska pracy, a kompetencje są dobierane w sposób nieudokumentowany.
2. Klasyfikacja behawioralna. Zachowania obserwowane u uczestników należy klasyfikować w jasne i odpowiednie kategorie, np. wymiary, atrybuty, charakterystyki, zdolności, umiejętności, kompetencje, wiedza.
Zwykle w Polsce wymiary i kompetencje są opisywane przy pomocy zachowań, ale nie sprawdza się empirycznie związku pomiędzy kompetencjami a zachowaniami.
3. Techniki oceny. Techniki stosowane w ośrodku oceny muszą być opracowane w sposób zapewniający uzyskanie za ich pomocą informacji niezbędnych do oceny wymiarów wybranych uprzednio na podstawie analizy stanowiska pracy. Twórcy ośrodków oceny powinni ustalić związki pomiędzy zachowaniami, kompetencjami oraz technikami ćwiczeń/ocen. Związki te powinny być udokumentowane w macierzy zestawiającej kompetencje i techniki ćwiczeń/oceny.
W Polsce nie ustala się systematycznie związku pomiędzy kompetencjami a ćwiczeniami, lecz raczej arbitralnie przyjmuje, że jakaś kompetencja może być zaobserwowana w danym ćwiczeniu.
4. Wielostronna ocena. Należy stosować połączenie różnych technik oceny. Mogą one obejmować testy, wywiady, kwestionariusze, narzędzia socjometryczne oraz symulacje.
Inne techniki niż symulacje stosuje się w Polsce rzadko i zwykle mierzą one inne kompetencje niż te, które są mierzone przy pomocy ćwiczeń.
5. Symulacje. Techniki oceny muszą zawierać odpowiednią liczbę symulacji ściśle związanych ze stanowiskiem pracy (job-related), dających możliwość obserwacji zachowań kandydata, reprezentujących każdą z ocenianych kompetencji/wymiarów. Każdy ośrodek oceny musi zawierać przynajmniej jedną symulację związaną ze stanowiskiem pracy, przy czym zazwyczaj zawiera ich kilka.
Prawdopodobnie ten wymóg nie jest w Polsce uwzględniany, a głównie dlatego, że nie dostosowuje się ćwiczeń (nazywanych często w Polsce zadaniami) do poszczególnych stanowisk.
6. Asesorzy. Konieczne jest wykorzystanie kilku asesorów, którzy będą obserwować i oceniać każdą osobę ocenianą. Typową proporcją jest dwóch ocenianych na jednego oceniającego.
Jest wiele przykładów stosowania AC w Polsce, w których nie korzysta z dwóch asesorów obserwujących i oceniających tę samą osobę. Znamy jeden przypadek AC, w którym uczestniczyło w jednej grupie ocenianej 15 osób.
7. Szkolenia asesorów. Asesorzy przed dopuszczeniem do uczestnictwa w ośrodku oceny muszą odbyć dogłębne szkolenia i uzyskać poziom wykonania zgodny z wytycznymi zawartymi w dziale „Szkolenia asesorów”.
Szkolenie asesorów w Polsce najprawdopodobniej nie realizuje wszystkich dziewięciu wymaganych celów, które wymienione są w „Wytycznych”. Na przykład, jest wątpliwe czy realizuje się następujący cel: „…udokumentowana umiejętność obserwacji, rejestracji i klasyfikacji zachowania w formie wymiarów.
8. Rejestracja zachowań. Asesorzy muszą stosować usystematyzowaną procedurę rejestracji konkretnych obserwacji behawioralnych w chwili obserwacji. Procedura ta może obejmować takie techniki, jak notatki odręczne, skale obserwacji behawioralnej lub behawioralne „listy kontrolne” (checklist).
W Polsce dominuje rejestracja zachowań w formie notatek, a dużo rzadziej stosuje się listy kontrolne. Ważnym jednak uchybieniem jest fakt, że asesorzy zwykle nie oceniają kompetencji uczestników po każdym ćwiczeniu.
9. Raporty. Osoby oceniające muszą sporządzić raport z obserwacji poczynionych podczas każdego ćwiczenia przed dyskusją integracyjną lub integracją statystyczną.
W Polsce takie raporty zawierają zwykle listę zaobserwowanych zachowań, ale nie oceny poszczególnych kompetencji.
10. Integracja danych. Integracja zachowań musi być oparta na zgromadzeniu informacji od asesorów (pooling) lub procesie integracji statystycznej, zwalidowanym zgodnie z profesjonalnymi standardami. Podczas dyskusji integracyjnej każdego z wymiarów osoby oceniające powinny przekazać informacje pochodzące z oceny zachowania podczas symulacji, natomiast nie powinny zdawać relacji nie związanych z celem procesu oceny.
W trakcie spotkań integracyjnych dyskutowane są zwykle tylko zachowania, ponieważ asesorzy nie dokonują ocen po każdym ćwiczeniu.
Wytyczne o walidacji
„Wytyczne” stawiają także jasne wymagania dotyczące walidacji:
W sformułowaniu regulaminu należy wskazać stosowany model walidacji. Jeżeli w ramach walidacji badana jest trafność treściowa (content-oriented validity), wówczas należy przedstawić dokumentację opisującą związek pomiędzy treścią stanowiska/grupy stanowisk a wymiarami i ćwiczeniami, a także dowody rzetelności obserwacji i oceny zachowania… Jeżeli w danym wypadku przeprowadzone zostało badanie trafności prognostycznej (criterion-related validity), wówczas należy przedstawić pełną dokumentację badania. Jeśli badania uzasadniające są dopiero w fazie przygotowań, należy sporządzić harmonogram wskazujący termin, w którym dostępny będzie raport z walidacji.
W Polsce większość ludzi jest przekonana (np. 76% trenerów wśród 110 respondentów), że AC ma bardzo wysoką wartość prognostyczną. W najlepszym wypadku, przekonanie to jest oparte na wynikach badań przeprowadzonych poza Polską. A jeśli jest to prawdą, że nie stosuje się wszystkich wytycznych, to jest całkiem prawdopodobne, że nie mają w Polsce AC wysokiej wartości prognostycznej.
Ponieważ w Polsce nie ma badań na temat AC, może warto przyjrzeć się wynikom badań przeprowadzanych w innych krajach. Jednym z problemów, dosyć szeroko badanym w Europie i USA, jest to, czy rzeczywiście AC pozwala na zmierzenie kompetencji. Zaś jednym ze sposobów sprawdzenia tego założenia jest porównanie korelacji pomiędzy kompetencjami mierzonymi w różnych ćwiczeniach a korelacjami pomiędzy kompetencjami w jednym ćwiczeniu. Jeśli asesorzy oceniają poszczególne kompetencje, a nie ogólną sprawność w danym ćwiczeniu, to korelacje pomiędzy ćwiczeniami dla poszczególnych kompetencji powinny być wyższe niż korelacje pomiędzy kompetencjami w ramach poszczególnych ćwiczeń. Jeśli tak nie jest, to asesorzy oceniają po prostu jakość pracy w poszczególnych ćwiczeniach (ogólne wrażenie), a nie specyficzne kompetencje. Badania przeprowadzane poza Polską pokazują, że w wielu systemach AC tak się właśnie dzieje.
Jeśli nawet część z przedstawionych tu hipotez o sytuacji AC w Polsce jest prawdziwa, to czas najwyższy zweryfikować sposób realizacji AC/DC w naszym kraju. Pomocna byłoby dostrzeżenie, że jest to bardzo trudna metoda oceny oraz, że bez udziału odpowiednio przygotowanego psychologa nie uda się zastosować do wszystkich wytycznych.
Za zgodą HRNews.pl; data pierwszej publikacji 26.01.2009.