Raport z badania „Kryteria sukcesu w stosowaniu Assessment Centre i Development Centre”

Kategorie: Przywództwo, rozwój menedżerski, HRM, Raporty z badań

Raport z badania Assessment Centre i Development Centre

Podstawowe dane o badaniu Assessment Centre i Development Centre

  • Adresaci badania ankietowego: pracownicy działów HR
  • Termin: badanie przeprowadzono w listopadzie 2012 roku
  • Cel ankiety: zebranie informacji o praktyce stosowania Assessment i Development Centre
  • Analizy statystyczne: przeprowadzono na podstawie danych uzyskanych od 39 respondentów
  • Raport zaprezentowany 12.12.2012 roku podczas XI Spotkania Eksperckiego w Centrum Szkoleniowym Instytutu, Warszawa, ul. Sienna 73

Badanie przeprowadzone przez Instytut Rozwoju Biznesu i Polską Fundację Badań nad Zarządzaniem.

 

Assessment Centre i Development Centre

 Partnerzy medialni:

“Personel i Zarządzanie”

HRNews

Biznes.wieszjak.pl

Nowoczesna Firma

Pracuj.pl

Strategie Biznesu

 

 

A. RESPONDENCI ANKIETY

  1. Rola respondentów w opisywanych Assessment Centre i Development Centre
  1. Brałem udział w budowaniu AC/DC – 69%
  2. Byłem asesorem – 64%
  3. Byłem zleceniodawcą AC/DC – 44%

 

Raport Assessment Centre i Development Centre – wnioski

Respondenci w większości zarówno brali udział w budowaniu sesji Assessment Centre i Development Centre, jak i byli asesorami. 44% respondentów to zleceniodawcy.

ROLA LICZBA OSÓB LICZBA OSÓB W %
Udział w budowaniu & asesor 16 41%
Zleceniodawca 8 20%
Udział w budowaniu & asesor & zleceniodawca 5 13%
Udział w budowaniu & zleceniodawca 4 10%
Asesor & zleceniodawca 4 10%
Udział w budowaniu 2 5%

 

  1. Udział respondentów w szkoleniach dotyczących Assessment Centre i Development Centre
  1. Nie – 36%
  2. Tak – 64

Wnioski

Szkolenia organizowane przez uczelnie – 10%, szkolenia wewnętrzne – 31%, szkolenia zewnętrzne – 61%.

Aż 36% respondentów nie uczestniczyło w szkoleniach dotyczących systemów AC/DC.

Najczęściej szkolenia, w których brali udział respondenci, prowadzone były przez firmę zewnętrzną.

Komentarz ekspercki

Brak udziału w szkoleniu z tego zakresu nie pozwala być dobrym asesorem lub uczestniczyć  w budowaniu  AC/DC.

„Asesorzy przed dopuszczeniem do uczestnictwa w ośrodku oceny muszą odbyć dogłębne szkolenia i uzyskać poziom wykonania zgodny z wytycznymi zawartymi w dziale – Szkolenia asesorów.”

Wytyczne i reguły etyczne dotyczące stosowania ośrodka oceny …

  1. Znajomość międzynarodowych standardów dotyczących stosowania Assessment Centre i Development Centre
  1. Nie znam – 26%
  2. Słyszałem, ale nie znam – 25%
  3. Słyszałem, ale nie zapoznałem się dokładnie – 18%
  4. Słyszałem, ale zapoznałem się pobieżnie – 10%
  5. Znam i stosuję w przeprowadzanych AC/DC – 21%

Wnioski

Zaledwie 21% respondentów deklaruje, że zna i stosuje w przeprowadzanych AC/DC międzynarodowe standardy.

Aż 26% respondentów w ogóle nie zna tych standardów, a pozostała część tylko o nich słyszała bądź pobieżnie się zapoznała (43%).

Komentarz ekspercki

Powstaje pytanie, skąd osoby realizujące projekty Assessment Centre i Development Centre czerpią wiedzę  na temat sposobów realizacji zabezpieczających jakość i efektywność procesów oceny?

 

  1. Autorzy narzędzi do sesji Assessment Centre i Development Centre
Zewnętrzni konsultanci Pracownicy firmy Zewnętrzni konsultanci i pracownicy firmy
Harmonogram sesji AC/DC 23% 46% 31%
Ćwiczenia do AC/DC 36% 35% 28%
Wywiad kompetencyjny do AC/DC 41% 44% 15%

Wnioski

Narzędzia do sesji Assessment Centre i Development Centre budowane są zarówno przez konsultantów zewnętrznych, jak i pracowników firmy.

Rzadziej budowane są przy współpracy obu grup, a w przypadku ćwiczeń ta opcja wydaje się najkorzystniejsza.

Komentarz ekspercki

Jeśli ćwiczenia i wywiad kompetencyjny są budowane wyłącznie przez zewnętrznych konsultantów, mogą nie mieć odpowiedniego poziomu tzw. „fidelity”, tj. dostatecznego podobieństwa do zadań realizowanych na danym stanowisku pracy.

„(…)przy korzystaniu z ośrodka oceny podstawowym pojęciem jest zastosowanie symulacji związanych ze stanowiskiem pracy (job-related). Tego typu ćwiczenia symulacyjne umożliwiają poszczególnym osobom wykazanie się posiadanymi umiejętnościami w sytuacjach istotnych podczas wykonywania zadań zawodowych.”

Wytyczne i reguły etyczne dotyczące stosowania ośrodka oceny…

 

B. BUDOWA ASSESSMENT CENTRE

  1. Liczba kompetencji badana w trakcie jednego dnia sesji AC/DC
  1. Do 3 – 26%
  2. 4-5 – 64%
  3. 6-7 – 0%
  4. 8-9 – 10%
  5. Powyżej 9 – 0%

Wnioski

64% respondentów w trakcie jednego dnia sesji bada 4-5 kompetencji.

10% respondentów  w trakcie jednego dnia sesji bada 8-9 kompetencji.

Komentarz ekspercki

Wyniki sugerują , że liczba kompetencji mierzonych w Assessment Centre i Development Centre jest optymalna. Jeśli mierzone są mniej niż 4 kompetencje, być może nie wyczerpują one zestawu kompetencji wymaganych na danym stanowisku pracy.

 

  1. Typy kompetencji stosowane w ramach AC/DC
  1. Wpływ i prezentowanie – 87%
  2. Przewodzenie i decydowanie – 82%
  3. Wspieranie i współpracowanie – 82%
  4. Organizowanie i realizacja zadań – 78%
  5. Analizowanie i interpretowanie – 67%
  6. Adaptowanie się i radzenie sobie – 67%
  7. Przedsiębiorczość i nastawienie na rezultaty – 59%
  8. Kreowanie i myślenie koncepcyjne – 56%

Wnioski

Najczęściej stosowane są kompetencje związane bezpośrednio z działaniem z ludźmi , a prawdopodobnie zbyt rzadko badane są kompetencje związane z przedsiębiorczością i wynikami pracy.

Komentarz ekspercki

Hipotezy:

takie kompetencje preferują psychologowie, którzy często zajmują się AC/DC,

istnieje przekonanie, że projekty AC/DC badają kompetencje miękkie,

wydaje się, że kompetencje miękkie są łatwiejsze do pomiaru.

 

  1. Wykorzystywane kompetencje w AC/DC należały do:
  1. Państwa firmy – 72%
  2. firmy zewnętrznej, która prowadziła AC – 10%
  3. firmy zewnętrznej, dostosowane do potrzeb zamawiającego – 15%
  4. firmy zewnętrznej, ale przygotowane na potrzeby danej sesji – 3%

Wnioski

W sesjach Assessment Centre i Development Centre wykorzystywane są głównie kompetencje własne firm (72%), tylko w przypadku 15% są to kompetencje firmy zewnętrznej dostosowane do potrzeb zamawiającego.

Komentarz ekspercki

W większości AC/DC stosowane są kompetencje własne firmy i jest to właściwe. Warunkiem jest jednak, aby były dostatecznie dobrze opisane pod kątem zastosowania w AC/DC.

  1. Ocena punktowa kompetencji po każdym ćwiczeniu i dla każdego uczestnika
  1. Tak – 73%
  2. Nie – 12%
  3. Nie wiem – 13%

Wnioski

12% respondentów nie ocenia kompetencji uczestnika sesji po każdym ćwiczeniu, a 13% nie wie, czy jest to robione.

Komentarz ekspercki

Brak oceny kompetencji uczestnika po każdym ćwiczeniu przez asesorów może wpływać negatywnie na niezależność ocen asesorów oraz obniżać ogólną trafność AC/DC.

„Osoby oceniające muszą sporządzić raport z obserwacji poczynionych podczas każdego ćwiczenia przed dyskusją integracyjną lub integracją statystyczną.”

Wytyczne i reguły etyczne dotyczące stosowania ośrodka oceny…

  1. Lista zachowań przypisana poszczególnym poziomom kompetencji
  1. Tak – 77%
  2. Nie – 20%
  3. Nie wiem – 3%

Wnioski

20% respondentów nie stosuje w obserwacji listy zachowań (behavioral check list), które są przypisane poszczególnym poziomom kompetencji.

Komentarz ekspercki

Listy zachowań ujednolicają pracę asesorów i tworzą wspólne ramy interpretacji zaobserwowanych zachowań.

„Asesorzy muszą stosować usystematyzowaną procedurę rejestracji konkretnych obserwacji behawioralnych w chwili obserwacji. Procedura ta może obejmować takie techniki, jak notatki odręczne, skale obserwacji behawioralnej lub behawioralne listy kontrolne.”

Wytyczne i reguły etyczne dotyczące stosowania ośrodka oceny…

 

C. UCZESTNICY SESJI ASSESSMENT CENTRE I DEVELOPMENT CENTRE

  1. Informacja dla uczestników o zawartości sesji AC/DC i roli uczestników
  1. Tak – 67%
  2. Nie – 33%

Wniosek

33% respondentów nie informuje uczestników o zawartości sesji AC/DC.

Komentarz ekspercki

W przypadku DC uczestnicy powinni mieć informację, jakie kompetencje będą mierzone i jak są definiowane. Ten wymóg wytycznych ma związek z etycznym stosowaniem oceny ludzi w organizacjach. Badania prowadzone poza Polską (np. Kolk, Born & van der Flier, 2003) pokazują, że nawet pokazanie uczestnikom, jakie kompetencje będą badane, nie wpływa na ocenę kompetencji.

„Organizacja powinna informować osobę oceniającą o tym, jakie zapisy i dane są gromadzone, przechowywane, wykorzystywane i rozpowszechniane. Oceniana osoba powinna być informowana o tym, że jej zachowania są nagrywane podczas ośrodka oceny oraz w sytuacji, gdy te nagrania lub inne dane osobowe będą przekazywane poza granice kraju lub poprzez Internet.”

„Jeżeli organizacja postanowi wykorzystać wyniki oceny do celów innych niż zapowiedziane wcześniej, które mogą mieć wpływ na osobę ocenianą, należy o tym osobę ocenianą powiadomić i uzyskać jej zgodę.”

Wytyczne i reguły etyczne dotyczące stosowania ośrodka oceny…

  1. Sposób przekazania informacji zwrotnej po DC
Tak Nie
Przesłanie pisemnego raportu do indywidualnej analizy przez uczestnika sesji (bez rozmowy) 28% 72%
Rozmowa z asesorem o wynikach i przekazanie raportu 67% 33%
Rozmowa z przełożonym o wynikach i przekazanie raportu 44% 56%
Rozmowa z pracownikiem działu HR o wynikach i przekazanie raportu 33% 67%
Rozmowa bez przygotowanego raportu 18% 82%

Wnioski

Okazuje się, że w przypadku 67% respondentów informacja zwrotna jest rozmową z asesorem i przekazaniem raportu, a tylko w przypadku 44% jest to rozmowa z przełożonym.

W przypadku 18% respondentów informacja zwrotna jest samą rozmową bez przygotowanego raportu, co prawdopodobnie nie pozwala w pełni wykorzystać zebranych informacji.

Komentarz ekspercki

Najważniejszym elementem DC jest informacja zwrotna, która ma na celu rozwój kompetencji osoby biorącej udział w sesji, a nie zawsze przeprowadzona jest ona optymalnie. Brak rozmowy bezpośredniej (28%) nie pozwala na pełne zrozumienie otrzymanych wyników, nie „zabezpiecza” uczestników w przypadku niezbyt dobrych wyników i  prawdopodobnie ma małą wartość rozwojową.

„Osoby oceniane powinny otrzymywać informacje zwrotne na temat wyników uzyskanych przez nie w ośrodku oceny, jak również o wszelkich sformułowanych zaleceniach”.

Wytyczne i reguły etyczne dotyczące stosowania ośrodka oceny…

 

D. ASESORZY

  1. Przygotowanie asesorów do udziału w nowej sesji AC/DC
Tak Nie
Przekazanie materiałów do własnego zapoznania się (opisy kompetencji, ćwiczenia) 54% 46%
Szkolenie asesorów, gdy w trakcie sesji stosowane są nowe rozwiązania (np. ćwiczenia, kompetencje) 41% 59%
Krótkie spotkania omawiające wyłącznie nowe narzędzia 46% 53%

Wniosek

Tylko w przypadku 41% respondentów przeprowadzane są szkolenia z nowych rozwiązań stosowanych w sesji Assessment Centre i Development Centre.

Komentarz ekspercki

Taka sytuacja jest poważnym błędem z punktu widzenia międzynarodowych standardów. Badania pokazują, że jakość szkolenia ma wpływ na wartość predyktywną AC/DC.

„Szkolenie asesorów stanowi integralny składnik programu ośrodka oceny. Dla szkolenia asesorów należy jednoznacznie określić cele szkoleniowe oraz standardy poziomu wykonania.”

Wytyczne i reguły etyczne dotyczące stosowania ośrodka oceny…

  1. Asesorzy w sesji AC/DC
  1. Pracownicy firmy – 41%
  2. Zewnętrzni konsultanci – 31%
  3. Zewnętrzni konsultanci i pracownicy firmy – 28%

Wnioski

Asesorami w sesjach AC/DC najczęściej są pracownicy firmy, rzadziej korzysta się z zewnętrznych konsultantów. Współpraca obu grup występuje tylko u 28% respondentów.

Komentarz ekspercki

Które rozwiązanie wydaje się korzystniejsze dla jakości procesu?

 

E. TESTY PSYCHOLOGICZNE

  1. Tytułem wstępu

Fragment raportu „Praktyka stosowania AC/DC w Polsce”, prezentowanego podczas V Spotkania Eksperckiego (2009)

Budowa programu AC/DC. Czy w AC/DC zastosowano inne niż ćwiczenia (zadania) metody oceny (tj. testy, wywiady, kwestionariusze)?

  1. Tak – 79,5%
  2. Nie – 15,9%
  3. Nie wiem – 4,5%
  1. Typy testów stosowane w ramach Assessment Centre i Development Centre
  1. Osobowości – 72%
  2. Kompetencji – 64%
  3. Zdolności – 44%
  4. Inteligencji – 23%
  5. Temperamentu – 21%
  6. Emocjonalności – 13%

Komentarz ekspercki

Względnie niska częstotliwość stosowania  testów, które mierzą zdolności lub inteligencję,  nie pozwala uwzględnić wpływu tych czynników na rozwój  kompetencji (DC), a przypadku AC ogranicza efektywność procesu selekcji.

Zastanawia bardzo rzadkie stosowanie testów, mierzących emocjonalność, która ma wpływ na takie kompetencje, jak podejmowanie decyzji, orientacja na zmiany czy komunikacja.

 

  1. Przydatność testów psychologicznych w sesji Assessment Centre i Development Centre
5% 28% 15% 44% 0%
Nieprzydatne w AC/DC Czasami przydatne w AC/DC Trudno powiedzieć Przydatne w AC/DC Bardzo przydatne w AC/DC

Wnioski

W ocenie 44% respondentów testy psychologiczne są przydatne w procesach AC/DC. Natomiast aż 48% respondentów nie było przekonanych o przydatności testów psychologicznych.

Respondenci , którzy nie stosują testów w ramach sesji AC/DC, ocenili niżej ich przydatność (korelacja istotna statystycznie na poziomie 0,35*).

*Korelacja jest istotna na poziomie 0,05 (dwustronnie).

Komentarz ekspercki

Warto pamiętać, że jest duże zróżnicowanie w zakresie jakości testów dostępnych na rynku.  Być może jest to przyczyną pewnej ostrożności w ich stosowaniu. Barierą może być również cena testów, jak i konieczność korzystania z pomocy psychologów.

„Należy stosować połączenie różnych technik oceny. Mogą one obejmować testy, wywiady, kwestionariusze, narzędzia socjometryczne oraz symulacje. Techniki oceny opracowuje się lub dobiera, aby możliwe było zaobserwowanie różnorodnych zachowań i informacji odnoszących się do kompetencji/wymiarów.”

Wytyczne i reguły etyczne dotyczące stosowania ośrodka oceny…

  1. Spójność wyników testów psychologicznych  z obserwacją zachowania w sesji AC/D
5% 51% 18% 26% 0%
Niespójne z obserwacją zachowania Częściowo spójne z obserwacją Trudno powiedzieć Spójne z obserwacją zachowania W pełni spójne z obserwacją zachowania

Wnioski

W ocenie 51% respondentów wyniki testów psychologicznych są częściowo spójne z obserwacją zachowania, a 26% uważa, że są spójne z obserwacją.

Im wyżej respondenci ocenili przydatność testów psychologicznych w sesji AC/DC, tym wyżej ocenili  spójność wyników testów z obserwacją zachowania w sesji AC/DC (korelacja istotna statystycznie na poziomie 0,48*).

* Korelacja jest istotna na poziomie 0,01 (dwustronnie).

Komentarz ekspercki

Testy dostarczają dodatkowych informacji, które poszerzają wiedzę o uczestniku AC/DC. Testy mierzą czynniki, które są trudne do oceny na podstawie obserwacji  zachowania (np. osobowość)

 

F. JAKOŚĆ AC

  1. Trafność predykcyjna sesji Assessment Centre i Development Centre – siła przewidywania zachowania
Mniejsza Równa Większa Nie wiem
Trafność AC w porównaniu z wywiadem ustrukturalizowanym jest 5% 7% 85% 2%
Trafność AC w porównaniu z testami jest 5% 13% 82% 0%
Trafność testów w porównaniu z wywiadem ustrukturalizowanym jest 44% 18% 33% 5%

Wnioski

Większość respondentów uważa, że trafność AC jest większa niż wywiadu strukturalizowanego i testów psychologicznych.

Komentarz ekspercki: Przekonanie, że trafność  AC jest większa niż testów, może być wynikiem rozpowszechnionych w polskich publikacjach informacji.

 

  1. Jaka może być trafność narzędzi selekcyjnych (na podstawie badań psychologicznych)?
Narzędzie r Źródło
Wywiad ustrukturalizowany ,51 Schmidt & Hunter, 1998
Sytuacyjny test decyzyjny ,34 Hough i inn., 2001
Assessment Center ,37 Goldstein, Yusko, & Nicolopoulos, 2001

Komentarz ekspercki

Badania psychologiczne pokazują, że najwyższy wskaźnik trafności może mieć wywiad ustrukturalizowany, ale powinien on spełniać szereg wymogów metodologicznych. Ogólne wnioski w zakresie trafności narzędzi selekcyjnych można wyciągać tylko na podstawie metaanaliz, czyli procedur zbierania w jednej analizie wielu badań, dotyczących tego samego problemu.

 

  1. Dlaczego AC/DC jest popularny w Polsce?

Mity:

Bardzo znana firma, wdrażająca od wielu lat AC/DC, podaje na swojej stronie, że trafność prognostyczna wynosi średnio r = 0,62 (wskaźnik korelacyjny). Opiera to na publikacjach polskich. Ktoś inny podaje, że według Hucka i McKinseya skuteczność  metody wynosi 76%.

Fakty:

Opublikowane wskaźniki w czasopismach profesjonalnych obliczone na podstawie metaanaliz:

  • Gaugler B. B. i inni (1987): r = 0,37 dla OAR (50 badań)
  • Arthur W. i inni (2003): r = od 0,25 do 0,39 dla poszczególnych kompetencji (34 badania)
  • Hermelin E.i inni (2007): r = 0,28 dla OAR (26 badań)

 

  1. Ocena trudności przygotowania i przeprowadzenia sesji AC/DC

5%

0%

62%

31%

3%
Bardzo łatwe Łatwe Średnie Trudne Bardzo trudne

Wnioski

62% respondentów  spostrzega przygotowanie i przeprowadzenie AC/DC jako średnio trudne.

Komentarz ekspercki

Przeciętne spostrzeganie AC/DC jako średnio trudnej metody sugeruje, że nie wszyscy zajmujący się nią zdają sobie sprawę jak trudna jest to metoda oceny kompetencji.

 

  1. Ocena skuteczności sesji AC/DC
2% 0% 18% 64% 15%
Bardzo nieskuteczne Nieskuteczne Trudno powiedzieć Skuteczne Bardzo skuteczne

Wnioski

79% respondentów  spostrzega  sesje AC/DC jako skuteczne albo bardzo skuteczne.

Komentarz ekspercki

Wysoka ocena skuteczności  AC/DC w kontraście do spostrzegania jej średniej trudności może wynikać z braku danych, jak dobrze zostały ocenione kompetencje w danej sesji AC/DC.

 

  1. Ocena skuteczności i poziomu trudności przygotowania i przeprowadzenia sesji AC/DC a rola w sesji AC/DC
Rola Ocena skuteczności AC/DC Ocena trudności AC/DC
Zleceniodawca Tak 3,65* n.i.
Nie 4,09* n.i.
Asesor Tak 4,12* n.i.
Nie 3,50* n.i.
Brał udział w budowaniu AC/DC Tak 4,11* 3,44*
Nie 3,42* 2,83*

(Analiza statystyczna – test t – Studenta), * poziom istotności p<0,05

Komentarz ekspercki

Respondenci , którzy  występowali w roli zleceniodawców sesji AC/DC, ocenili istotnie statystycznie niżej jej skuteczność.

Natomiast respondenci , którzy występowali w roli asesorów sesji AC/DC, ocenili istotnie statystycznie wyżej jej skuteczność.

Z kolei respondenci, którzy brali udział w budowaniu sesji AC/DC, ocenili istotnie statystycznie wyżej jej skuteczność i poziom trudności.

 

  1. Ocena skuteczności sesji AC/DC a znajomość międzynarodowych standardów
26% 25% 18% 10% 21%
Nie znam Słyszałem,
ale nie znam		 Słyszałem, ale nie zapoznałem się dokładnie Słyszałem,
ale pobieżnie się zapoznałem		 Znam i stosuję
w przeprowadzanych AC

Komentarz ekspercki

Im lepiej respondenci znają międzynarodowe standardy, tym wyżej oceniają skuteczność sesji AC/DC  (korelacja istotna statystycznie na poziomie 0,31*).

Sama znajomość standardów nie wpływa na efektywność AC/DC, a tylko ich stosowanie  potwierdziło tylko 21%  respondentów.

Wysoka ocena efektywności AC/DC jest w dużym stopniu oparta na jej fasadowej trafności.

Autorzy Raportu Assessment Centre i Development Centre: Katarzyna Sobieraj, dr Victor Wekselberg

Zobacz także naszą ofertę doradczą z zakresu:

[ssba] Back...