Czy AI potrafi oceniać kompetencje? Granica między wsparciem eksperta, a automatyzacją decyzji HR. Sztuczna inteligencja w HR

Wyobraźmy sobie, że przekazujemy modelowi AI definicję kompetencji, pięciostopniową skalę behawioralną oraz notatki z kilku ćwiczeń Development Centre, a następnie prosimy o ocenę uczestnika. Po kilku sekundach otrzymujemy wynik: 3,5, któremu zapewne towarzyszy spójne uzasadnienie, opis mocnych stron i obszarów rozwojowych, a nawet rekomendacje dotyczące dalszego rozwoju.

Czy AI właśnie dokonało pomiaru kompetencji? Niekoniecznie.

Wygenerowanie liczby i jej przekonującego uzasadnienia nie jest tym samym co pomiar. Aby mówić o profesjonalnej diagnozie, musimy wiedzieć, co właściwie mierzymy, na podstawie jakich obserwacji, według jakich kryteriów oraz z jaką pewnością możemy formułować wnioski. To pytania dobrze znane psychologii i psychometrii, które wraz z rozwojem AI nie tracą na znaczeniu. Przeciwnie – po raz pierwszy dysponujemy narzędziami, które potrafią tworzyć interpretacje zachowania człowieka tak płynne i przekonujące, że łatwo pomylić jakość języka z jakością diagnozy.

Profesjonalnie brzmiący wniosek nie musi być trafnym wnioskiem

Duże modele językowe przewidują najbardziej prawdopodobną kontynuację na podstawie dostarczonego kontekstu i wzorców poznanych podczas treningu, dlatego potrafią tworzyć niezwykle spójne odpowiedzi. Nie oznacza to jednak, że „rozumują” o kompetencjach w taki sam sposób jak wyszkolony asesor.

Załóżmy, że w notatkach z Development Centre znajdują się dwie obserwacje: uczestnik „zaproponował podział zadań w zespole” oraz „podsumował ustalenia pod koniec spotkania”. Model może napisać, że uczestnik „skutecznie organizuje pracę zespołu, jasno deleguje odpowiedzialność i monitoruje realizację uzgodnionych działań”. Brzmi wiarygodnie, ale w danych nie ma informacji ani o monitorowaniu, ani wystarczających dowodów na skuteczne delegowanie. Model uzupełnił więc luki tym, co w danym kontekście wydawało się prawdopodobne. W generatywnej AI takie zjawisko określamy mianem halucynacji. W diagnozie kompetencji można zastosować prostsze kryterium: czy potrafimy wskazać konkretne dane źródłowe, które uzasadniają każdy istotny wniosek? Jeśli nie, profesjonalny język nie powinien zwiększać naszego zaufania do interpretacji.

Trafność jest ważniejsza niż szybkość

W psychologii pomiaru jednym z fundamentalnych pojęć jest trafność, czyli – w dużym uproszczeniu – pytanie, czy na podstawie uzyskanego wyniku rzeczywiście możemy formułować takie wnioski, jakie chcemy na jego podstawie formułować.

Jeżeli naszym celem jest ocena przywództwa, nie wystarczy zidentyfikować zachowania, które potocznie kojarzą się z liderem. Trzeba określić, co w danym modelu rozumiemy przez przywództwo, jakie zachowania są jego wskaźnikami i jakie sytuacje pozwalają je obserwować. To szczególnie ważne w przypadku AI, ponieważ model może łatwo powiązać zdecydowanie, szybkość podejmowania decyzji i pewność wypowiedzi z przywództwem, podczas gdy organizacja może definiować tę kompetencję przede wszystkim poprzez angażowanie zespołu, budowanie odpowiedzialności i rozwijanie samodzielności pracowników. AI może więc bardzo sprawnie odpowiedzieć na niewłaściwie postawione pytanie i zrobić to na tyle przekonująco, że trudniej będzie zauważyć problem.

A co z rzetelnością?

Drugim istotnym pojęciem jest rzetelność, związana z powtarzalnością i precyzją pomiaru. Jeżeli na podstawie tego samego materiału otrzymujemy różne oceny w zależności od sposobu sformułowania promptu, użytego chatbota czy kolejności przedstawienia informacji, pojawia się pytanie, jak stabilny jest taki pomiar.

W tradycyjnej diagnozie ograniczamy podobne źródła zmienności poprzez standaryzację: uczestnicy otrzymują porównywalne instrukcje, asesorzy korzystają ze wspólnych kryteriów, a sposób integrowania obserwacji jest wcześniej określony. Jeżeli AI ma uczestniczyć w procesie diagnostycznym, analogiczne pytania trzeba zadać technologii – Czy ponowna analiza tego samego materiału prowadzi do podobnego rezultatu? Czy nieistotna zmiana polecenia wpływa na ocenę? Czy dwa modele dochodzą do podobnych wniosków? Bez odpowiedzi na takie pytania liczba „3,5” może wyglądać jak precyzyjny pomiar, choć jej precyzja jest jedynie pozorna.

AI może być stronnicza. Człowiek również

Kolejnym problemem jest bias, czyli systematyczne zniekształcenie oceny. Modele mogą reprodukować wzorce obecne w danych, na których były trenowane, ale problem może pojawić się również wtedy, gdy kryteria są nieprecyzyjne.

Wyobraźmy sobie dwóch managerów. Pierwszy szybko przejmuje inicjatywę, mówi zdecydowanie i bezpośrednio komunikuje oczekiwania, drugi natomiast zadaje więcej pytań, włącza innych w rozmowę i dłużej dochodzi do decyzji. Model może przypisać pierwszemu silniejsze przywództwo, ponieważ jego zachowanie bardziej przypomina stereotypowy obraz lidera, choć w konkretnej organizacji zachowanie drugiego managera może lepiej odpowiadać oczekiwanemu modelowi. Podobne ryzyko może dotyczyć płci, wieku, języka, kultury czy stylu komunikacji. Automatyzacja nie gwarantuje więc neutralności, choć asesorzy również podlegają stereotypom, efektowi pierwszego wrażenia czy efektowi halo. Dlatego profesjonalna diagnoza od dawna wykorzystuje standaryzację, wiele źródeł danych, jasno opisane wskaźniki behawioralne i integrację ocen.

Automation bias – kiedy zaczynamy wierzyć maszynie

Nawet dobrze zaprojektowany system nie rozwiązuje problemu sposobu, w jaki korzysta z niego człowiek. I tu pojawia się kolejne zjawisko, automation bias, które oznacza tendencję do nadmiernego polegania na wskazaniach systemów automatycznych.

Wyobraźmy sobie asesora, który początkowo sam analizuje materiał, a następnie porównuje swoją ocenę z rekomendacją AI. Jeżeli kolejne sugestie modelu wydają się rozsądne, kolejność może się odwrócić – asesor najpierw czyta ocenę AI, a później sprawdza, czy „mniej więcej się zgadza”. Formalnie decyzję nadal podejmuje człowiek, ale jego osąd został już zakotwiczony przez sugestię systemu. Sama obecność człowieka w procesie nie wystarcza więc, aby mówić o rzeczywistym Human in the Loop. Musi on mieć wiedzę pozwalającą zakwestionować rezultat, dostęp do danych źródłowych oraz realną możliwość odrzucenia rekomendacji systemu.

Human in the Loop to coś więcej niż przycisk „zatwierdź”

W profesjonalnej diagnozie Human in the Loop powinien być sposobem zaprojektowania całego procesu – człowiek definiuje konstrukt i kryteria, decyduje o jakości danych, określa zadania powierzane technologii, a następnie weryfikuje jej rezultaty i odpowiada za interpretację. AI może natomiast robić to, w czym jest szczególnie efektywne: porządkować duże ilości materiału, zestawiać informacje z wielu źródeł, wyszukiwać niespójności, porównywać obserwacje ze wskaźnikami czy generować hipotezy wymagające sprawdzenia. Odpowiedzialność za decyzję dotyczącą człowieka nie znika jednak wraz z zastosowaniem technologii. Jeżeli wynik diagnozy wpływa na zatrudnienie, awans, sukcesję czy zakwalifikowanie do programu talentowego, konsekwencje błędnej interpretacji pozostają realne.

AI Act nieprzypadkowo zwraca uwagę na HR

Problemy te mają również wymiar regulacyjny. Europejski AI Act poświęca szczególną uwagę niektórym zastosowaniom sztucznej inteligencji w obszarze zatrudnienia i zarządzania pracownikami, w tym systemom wykorzystywanym m.in. do rekrutacji, selekcji czy oceny osób – wprost dotyka zatem zagadnienia diagnozy kompetencji. Nie każde wykorzystanie generatywnej AI przez HR automatycznie oznacza zastosowanie systemu wysokiego ryzyka – kierunek regulacji jest jednak czytelny: im większy wpływ technologii na decyzje dotyczące ludzi, tym większego znaczenia nabierają jakość danych, transparentność procesu, zarządzanie ryzykiem i skuteczny nadzór człowieka. Logika regulacji spotyka się tutaj z logiką profesjonalnej diagnozy: samo uzyskanie wyniku nie wystarcza – trzeba jeszcze rozumieć jego ograniczenia, znać uzasadnienie oraz zachować możliwość zakwestionowania go.

Czy zatem AI potrafi oceniać kompetencje?

Odpowiedź zależy od tego, co rozumiemy przez „oceniać”.

Jeżeli oznacza to analizowanie informacji, porównywanie obserwacji z kryteriami, identyfikowanie wzorców i generowanie propozycji oceny – możliwości AI są już dziś bardzo duże. Jeżeli natomiast przez ocenę rozumiemy profesjonalną diagnozę, która ma być podstawą decyzji dotyczącej człowieka, sama zdolność modelu do wygenerowania wyniku zdecydowanie nie wystarcza, ponieważ potrzebujemy trafnego wnioskowania, odpowiedniej rzetelności procesu, kontroli jakości danych, świadomości możliwych zniekształceń, czyli potrzebujemy człowieka, który potrafi ocenić nie tylko zachowanie uczestnika, ale również jakość analizy wykonanej przez AI.

Być może właśnie tutaj pojawia się najciekawszy paradoks związany z rozwojem sztucznej inteligencji w HR – im bardziej przekonujące stają się modele, tym ważniejsza staje się kompetencja krytycznej oceny ich rezultatów, bo w profesjonalnej diagnozie najważniejsze nie jest to, czy potrafimy wygenerować ocenę. Najważniejsze jest to, czy mamy wystarczające podstawy, aby jej zaufać.

Sprawdź szkolenie: AI Competence Lab

Powrót…