Assessment Center i Development Center – podstawowe dane o badaniu
Assessment Center i Development Center to metoda, która zyskała w Polsce, w ostatnich latach, ogromną popularność. Celem internetowego badania ankietowego, było uzyskanie informacji, w jakim stopniu przestrzegane są w Polsce międzynarodowe standardy przeprowadzania AC/DC. Te standardy (Guidelines and Ethical Considerations for Assessment Center Operations International Task Force on Assessment Center Guidelines) zostały przygotowane przez grupę zadaniową w ramach 28. Międzynarodowego kongresu poświęconego metodom AC/DC (zob. także polską wersję).
Zobacz także naszą ofertę ofertę doradczą z zakresu AC i DC
Wyniki szczegółowe
Ankietę wypełniły 44 osoby, które deklarują następujące rodzaje doświadczenia związanego ze stosowaniem metod “ośrodek” oceny i “ośrodek rozwoju” (Assessment Center i Development Center): asesorskie (50%), udział w budowaniu systemu AC/DC (25%) i zlecenie usługi (25%).
Szczegółowe wyniki badania znajdują się w poniższej tabeli. Kolejność pytań nie odpowiada kolejności w ankiecie – zostały tu uszeregowane od najniższego do najwyższego procentu odpowiedzi ‘tak’.
| Pytanie | Tak % | Nie % | Nie wiem % | |
|---|---|---|---|---|
| 1 | Czy dokonano jakichkolwiek analiz walidacyjnych – sprawdzenia efektywności AC/DC (tj. trafność treściowa, trafność prognostyczna, metaanaliza)? | 18,2 | 47,7 | 34,1 |
| 2 | Czy sprawdzono w ramach szkolenia poziom przygotowania asesorów do danego AC/DC? | 36,4 | 54,5 | 9,1 |
| 3 | Czy poszczególni asesorzy przed uzgadnianiem ocen sporządzają raport z własnych obserwacji, zawierający rekomendacje ocen? | 47,7 | 47,7 | 4,5 |
| 4 | Czy ustalono, w jakimkolwiek badaniu, związki pomiędzy zachowaniami a kompetencjami? | 50,0 | 18,2 | 31,8 |
| 5 | Czy asesorzy dokonują oceny punktowej kompetencji po każdym ćwiczeniu i dla każdego uczestnika? | 68,2 | 29,5 | 2,3 |
| 6 | Czy przed AC/DC przeszkolono asesorów w danym systemie? | 72,7 | 25,0 | 2,3 |
| 7 | Czy przed AC/DC ustalono procedurę rejestracji zachowań (np. notatki odręczne, skale obserwacji behawioralnej lub behawioralne “listy kontrolne”)? | 77,3 | 15,9 | 6,8 |
| 8 | Czy w AC/DC zastosowano inne niż ćwiczenia (zadania) metody oceny (tj. testy, wywiady, kwestionariusze)? | 79,5 | 15,9 | 4,5 |
| 9 | Czy w trakcie przygotowywania AC/DC i wyboru kompetencji oparto się na analizie stanowiska pracy z odwołaniem do określonych zachowań? | 81,8 | 6,8 | 11,4 |
| 10 | Czy zachowania zapisane w modelu kompetencyjnym były przypisane poszczególnym poziomom kompetencji? | 88,6 | 6,8 | 4,5 |
| 11 | Czy każdy uczestnik AC/DC był obserwowany przez więcej niż jednego asesora w poszczególnych ćwiczeniach (zadaniach)? | 93,2 | 6,8 | 0 |
| 12 | Czy w AC/DC zastosowano symulacje? | 95,5 | 4,5 | 0 |
Poniższy wykres podsumowuje odpowiedzi na wszystkie pytania, pokazując procent odpowiedzi ‘tak’.
Assessment Center i Development Center – co najbardziej różni polską i światową praktykę w stosowaniu tej metody?
Największą rozbieżność ze standardami światowymi pokazały odpowiedzi na 4 pierwsze pytania (<51% ‘tak’) wg zamieszczonej wyżej tabeli wyników. Oto krótkie komentarze do nich:
Jednym z kluczowych wymogów budowania efektywnych systemów AC/DC jest sprawdzenie w jakim stopniu one działają. Bez badań walidacyjnych w nie można twierdzić, jaka jest przeciętna wartość wskaźnika trafności prognostycznej (tj. skuteczności) w naszym kraju. W badaniu Instytutu tylko 18% respondentów zadeklarowało jakiekolwiek badania walidacyjne. Jednocześnie rozpowszechniane są nieprawdziwe informacje o wielkości tego wskaźnika na świecie. Na przykład, bardzo znana firma, wdrażająca od wielu lat AC/DC, podaje na swojej stronie, że trafność prognostyczna wynosi średnio r = 0,62 (wskaźnik korelacyjny). Opiera to na “popularyzatorskich” polskich publikacjach. Natomiast w zagranicznych czasopismach specjalistycznych (Gaugler B. B. i inni, 1987; Arthur W. i inni, 2007; Hermelin E. i inni, 2007) podaje się ten wskaźnik w przedziale od r = 0,28 do r = 0,39.
Asesorzy
Standardy międzynarodowe (Guidelines…) kładą bardzo duży nacisk na szkolenie asesorów. Powinno ono zawierać typ treningu frame-of-reference, który polega na wypracowaniu przez wszystkich asesorów jednolitego sposobu interpretowania zachowań. Wymagane jest także w ramach takiego treningu sprawdzenie, czy wszyscy asesorzy zostali optymalnie przygotowani do swojej roli. Tylko 36% respondentów podało, że takie sprawdzenie efektywności szkolenia miało miejsce. Może to wynikać z faktu, że w Polsce część osób traktuje bycie asesorem jako nabytą umiejętność i nie wymaga to w związku z tym konieczności przeprowadzania samego szkolenia. Świadczą o tym odpowiedzi na pytanie “Czy przeprowadzono szkolenie w danym systemie”, na które pozytywnej dopowiedzi nie dała 1/3 respondentów.
Sporządzanie raportów w Assessment Center i Development Center
Standardy międzynarodowe (Guidelines…) postulują sporządzanie raportów przez asesorów po każdym ćwiczeniu. Raporty takie powinny zawierać indywidualne oceny poszczególnych kompetencji. Wymaganie to wynika z potrzeby pełnego wykorzystania obserwacji zebranych przez wszystkich asesorów. Stosowanie takich raportów pozwala także na ocenę pracy asesorów oraz na analizę efektywności działania AC. Zaledwie około połowa respondentów stwierdziła, że takie raporty są stosowane. Tylko dostępność ocen wypracowanych przez każdego asesora umożliwia zastosowanie statystycznej metody podsumowywania oceny kompetencji uczestników AC.
Modele kompetencyjne w AC i DC
Jakość modelu kompetencyjnego wpływa w sposób krytyczny na skuteczność i efektywność systemów AC/DC. Sprawa ta jest w Polsce dosyć często lekceważona i chociaż nie mamy na to dowodów empirycznych, codzienna praktyka konsultancka jasno to pokazuje. Firmy zamawiają AC lub DC bez gotowości do budowania dobrego modelu kompetencyjnego, którego ważnym elementem jest sprawdzenie prawidłowości przyporządkowania kompetencjom poszczególnych zachowań. Sprawdzenie to może się odbywać, na przykład, w badaniu z udziałem tzw. sędziów kompetentnych, a nie wystarczy tylko dyskusja kilku osób lub arbitralne przyporządkowanie przez jakiegoś eksperta. Badanie pokazuje, że tylko w połowie przypadków respondenci deklarowali, że jakiekolwiek badanie było przeprowadzone. Brak sprawdzenia tego przyporządkowania może wpływać na małą precyzję pomiaru kompetencji, a także mniejsze niż pożądane zróżnicowanie kompetencji. Na przykład, zachowanie “jest obiektywny w ocenie innych osób” może należeć do kompetencji “motywowanie”, jak i “ocena i rozwój” (zachowanie z modelu kompetencyjnego stosowanego w jednej z firm).
- Czy dokonano jakichkolwiek analiz walidacyjnych – sprawdzenia efektywności AC/DC (tj. trafność treściowa, trafność prognostyczna, meta analiza)?
- Czy sprawdzono w ramach szkolenia poziom przygotowania asesorów do danego AC/DC?
- Czy poszczególni asesorzy przed uzgadnianiem ocen sporządzają raport z własnych obserwacji, zawierający rekomendacje ocen?
- Czy ustalono, w jakimkolwiek badaniu, związki pomiędzy zachowaniami a kompetencjami?
Podsumowanie wyników badania stosowania metody Assessment Center i Development Center
Jakość przygotowania i stosowania metod AC/DC w Polsce nie zawsze jest zgodna ze światowymi standardami (Guidelines_). Badanie pozwoliło na identyfikację obszarów, w których jest największa rezerwa w usprawnianiu, maksymalizacji i efektywności Assessment Center i Development Center, tj.:
- jakości modeli kompetencyjnych,
- jakości kadry asesorskiej,
- jakości przygotowania i prowadzenia sesji.
Warto także zwrócić uwagę zarówno na sposób budowania modeli kompetencyjnych, jakość prowadzenia sesji, jak i na przygotowanie asesorów do Assessment Center i Development Center.
Największy jednak niepokój budzi:
- nieprzeprowadzanie badań walidacyjnych, które sprawdzałyby efektywność przeprowadzonych sesji Assessment Center i Development Center,
- niestosowanie zasady wykorzystywania różnorodności metod,
- nieweryfikowanie poziomu przygotowania kadry asesorskiej.
Na dzień dzisiejszy brak jest wiedzy na temat wartości prognostycznej realizowanych programów Assessment Center i Development Center w Polsce. Uchybienia w stosowaniu standardów światowych sugerują, że w Polsce wskaźniki trafności prognostycznej mogą być przeciętnie niższe niż te, które są podawane w literaturze światowej.