Eyetracking jest jedną z najpopularniejszych technik realizowanych w ASM Neuro Lab badań neuromarketingowych. Są one bardzo skuteczne np. w przypadku analizy interfejsów aplikacji i badania zachowania użytkowników tych systemów. Badania przeprowadzamy dla firm różnych branż, często klienci planują kilka etapów badań lub do nas wracają z kolejnymi potrzebami marketingowymi. Nie inaczej było w przypadku najnowszego innowacyjnego systemu rekrutacyjnego, oferowanego przez spółkę Element.
O podzielenie się doświadczeniami z etapów tworzenia systemu, i o opinię dotyczącą badań eyetrackingowych poprosiliśmy Prezesa Element, Pana Macieja Michalewskiego.
Maciej Michalewski
CEO, Element
Element. Recruitment Automation Software
Na czym polega Państwa działalność na rynku? Czym jest system Element?
M.M.: Element to ATS, czyli Applicant Tracking System. Zasadniczym zadaniem ATS’ów jest zarządzanie kandydatami w toku procesów rekrutacyjnych, jednakże nowoczesne ATS’y, w tym Element, wspierają znacznie więcej zadań związanych z rekrutacją.
Czym on się różni od tego, co do tej pory było na rynku?
M.M.: Wyróżniamy się przede wszystkim innowacyjną technologią i nowatorskimi pomysłami, które stosujemy by ułatwić codzienną pracę rekruterów. W zakresie technologii, jesteśmy jedynym, lub jednym z nielicznych systemów, który posiada autorski model sztucznej inteligencji, rozumiejący treść życiorysów w języku polskim i angielskim. W praktyce niesie to konkretne oszczędności finansowe dla pracodawców, których rekruterzy odnajdują potrzebne informacje szybciej, a praca nad dokumentami kandydatów zajmuje znacznie mniej czasu.
Innym przykładem wyróżniającym nas od rozwiązań konkurencyjnych jest moduł Job Monit, który monitoruje ogłoszenia rekrutacyjne publikowane na ponad 50 polskich portalach rekrutacyjnych. Job Monit oferuje naszym klientom dostęp do największego w Polsce źródła danych o potrzebach rekrutacyjnych i popularności portali ogłoszeniowych.
Badając rozwiązania konkurencyjne, w tym te wiodące na polskim rynku, nie odnaleźliśmy też takich – wydawało by się podstawowych – funkcji jak np. automatyczna punktacja odpowiedzi udzielanych przez kandydata na etapie aplikowania czy wyszukiwarka kandydatów w sieci społecznościowej Linkedin z funkcją dodawania takich kandydatów do systemu.
Podsumowując, naszym celem jest wdrażanie do świata rekrutacji innowacyjnych rozwiązań technologicznych, które ułatwiają codzienną pracę rekruterów. Cieszymy się, że posiadamy już takie rozwiązania. Wszystkich zainteresowanych zachęcam do weryfikacji możliwości Elementu, bądź to w formie prezentacji, bądź też przeglądając zakładkę „Funkcjonalności” naszej witryny internetowej www.elementapp.ai.
Z tego systemu mogą korzystać zarówno firmy, które poszukują pracowników, jak i pracownicy, którzy szukają pracy? Zastąpi on portale ogłoszeniowe?
M.M.: Dotychczas Element był dostępny tylko dla firm. Jednak w nowej wersji systemu, którą uruchamiamy we wrześniu, planujemy uruchomienie portalu kandydata. Portal kandydat to część systemu dedykowana kandydatom, którzy będą mogli korzystać z naszego ATS do aktualizowania swojego profilu, tworzenia i pobierania CV, czy też zarządzania zgodami na przetwarzanie danych osobowych. Mamy ambitne plany na rozwój portalu kandydata, w tym pomysł na odrębną aplikację Job Monit, która w dużym skrócie będzie elektronicznym doradcą zawodowym oparty o sztuczną inteligencję. Wiemy jak to zrobić, posiadamy niezbędną technologię i znakomity zespół, wszystko zatem w naszych rękach.
Jak w systemie Element pojawiły się badania neuromarketingowe?
M.M.: Badania neuromarketingowe realizowane przez ASM pojawiły się u nas już wcześniej, w momencie kiedy chcieliśmy sprawdzić, w jaki sposób rekruterzy analizują treść życiorysów kandydatów. Analiza treści życiorysu jest jedną z pierwszych czynności realizowanych przez rekrutera po wpłynięciu nowej aplikacji kandydata. Rekruter czyta CV i weryfikuje, czy treść tego dokumentu uprawdopodabnia spełnianie przez kandydata wymogów stanowiska pracy. Zanim wytłumaczę w jakim sposób wykorzystaliśmy badania neuromarketingowe w kontekście analizy CV, zwrócę uwagę na trzy rzeczy.
Po pierwsze wstępna analiza CV jest czasochłonna, w szczególności przy dużej liczbie kandydatów. Każdy dokument należy otworzyć, przeczytać i podjąć decyzję co do przydatności kandydata w dalszym procesie rekrutacyjnym. Czym więcej kandydatów, tym więcej czasu zabiera ten proces rekruterowi.
Po drugie jest to czynność niezwykle istotna, albowiem już w tym momencie zapada pierwsza decyzja o tym, czy kandydat będzie brany pod uwagę w dalszych etapach procesu rekrutacyjnego. Jeśli na tym etapie CV nie przekona rekrutera, wówczas najczęściej kandydat traci szansę na dalszy udział w procesie.
Po trzecie wstępna analiza CV jest czynnością rutynową, która sprowadza się do pewnych, powtarzających się elementów: CV należy otworzyć, następnie przeczytać jednocześnie porównując jego treść do treści opisu stanowiska, a na końcu podjąć decyzję w sprawie dalszego losu kandydata.
Powyższe czynności, a w szczególności analiza treści CV i porównywanie jej do treści opisu stanowiska, mogą zostać częściowo zautomatyzowane. Można zbudować algorytmy, które czytają treść dokumentów aplikacyjnych, interpretują znaczenie tej treści, a następnie wskazują stopień dopasowania tej treści do wymagań danego stanowiska pracy. Jest to trudne zadanie, ale możliwe do zrealizowania dla algorytmów sztucznej inteligencji.
Jak na innowatorów przystało, stwierdziliśmy, że chcemy mieć takie rozwiązanie w ATS Element i podejmujemy wyzwanie. Przystępując do tego zadania wiedzieliśmy z własnego doświadczenia rekrutacyjnego, że w znakomitej większości wypadków rekruterzy analizują przede wszystkim doświadczenie zawodowe kandydata, a pozostałe elementy CV posiadają zdecydowanie mniejszą wartość dla podejmowanej oceny. Fakt ten dodatkowo potwierdziliśmy ankietami przeprowadzonymi wśród rekruterów. Więcej o tym badaniu ankietowym można przeczytać w artykule na naszym blogu (https://elementapp.ai/blog/ile-warta-edukacja/) Oprócz jednak własnych doświadczeń i deklaracji rekruterów chcieliśmy sprawdzić to w praktyce obserwując sposób pracy rekruterów podczas wstępnej analizy CV. W tym zadaniu pomogły nam właśnie badania eyetrackingowe.
Za pomocą kontroli wzroku rekrutera sprawdziliśmy jak faktycznie analizowane są dokumenty CV. W badaniu wzięli udział rekruterzy o różnych doświadczeniach zawodowych i różnych specjalizacjach, którzy analizowali zróżnicowane profile kandydatów pod kątem różnych stanowisk pracy. Wyniki badań, z których część wniosków opublikowaliśmy w artykule na naszym blogu (https://elementapp.ai/blog/3-sekundy-tyle-wystarczy-by-odrzucic-kandydata/), potwierdziły nasze dotychczasowe doświadczenie i przeprowadzone wywiady z rekruterami. Wynikami badań są mapy cieplne prezentujące profile kandydatów i czas trwania analizy wzrokowej poszczególnych elementów tych profili przez rekrutera. Mapy te po pierwsze pozwoliły nam pierwszy raz zobaczyć to, o czym dotychczas mogliśmy jedynie myśleć i mówić, a po drugie przedstawiły dokładny pomiar czasu, jaki rekruter poświęcił na analizę poszczególnych elementów profilu kandydata.
Zrobiliśmy wszystko co było w naszych możliwościach, aby zebrać niezbędną wiedzę do rozpoczęcia prac nad algorytmami sztucznej inteligencji, których zadaniem jest automatyzacja wstępnej analizy CV kandydatów.
I w pewnym momencie postanowili Państwo zbadać także interfejs systemu?
M.M.: Tak. Pojawiły się ponowne badania eyetrackingowe, tym razem dotyczące interfejsu użytkownika naszego systemu rekrutacyjnego. Wynikało to z faktu rozpoczęcia prac nad nową wersją systemu, roboczo nazywaną przez nas Elementem 2.0. Wyniki tych badań uwzględniliśmy w projektowaniu nowej wersji systemu, którą wdrażamy we wrześniu.
Zauważają Państwo trafność wniosków wynikających z tego badania?
M.M.: Pierwsze uwagi od klientów, którym prezentowaliśmy Element 2.0 są znakomite. Ponadto z naszych wewnętrznych testów wynika, że nowa wersja Elementu to jednocześnie nowa jakość w zakresie wygody korzystania z naszego systemu rekrutacyjnego. Ten wzrost jakości wynika z różnych czynników, niemniej jednak badania eyetrackingowe miały w tym udział.
Co powiedział by Pan osobom, które rozważają przeprowadzenie badań marketingowych technikami biometrycznymi, dlaczego warto?
M.M.: Dlaczego warto? Na pewno warto dlatego, że eyetracking to świetna technika do uzyskania bezpośredniego wglądu w sposób korzystania z systemu przez użytkowników. Wyniki takiego badania dowodzą bezspornie, w jaki sposób użytkownicy używają systemu. Dzięki eyetrackingowi możemy polegać nie tylko na tym co użytkownik mówi i nie tylko na tym jak użytkownik pracuje myszką, palcem lub dowolnym innym narzędziem wskazującym. Tu warto zauważyć, że istnieje szereg narzędzi pozwalających śledzić wskaźnik, którym użytkownik kontroluje system (np. HotJar). Jednakże to właśnie eyetracking jest metodą dostarczającą najbardziej precyzyjne informacje. Wynika to z jednego prostego faktu – nie zawsze używamy wskaźnika, gdy używamy wzroku a to właśnie wzrok jest podstawowym narzędziem dostarczania mózgowi informacji, nie zaś ręka operująca wskaźnikiem. Gdy szukam jakiejś opcji w systemie lub czytam jakieś dane, to mój wzrok porusza się nieustannie, myszka już niekoniecznie.
A dlaczego zdecydowali się Państwo na przeprowadzenie badań właśnie u nas?
M.M.: Wybraliśmy Państwa z uwagi na dobrą opinię, jaką cieszy się zespół specjalistów ASM, udaną dotychczasową współpracę, sprawną komunikację i elastyczne podejście do naszych potrzeb.
Dziękujemy i polecamy się na przyszłość.
Dla wyjaśnienia czytelnikom specyfiki technicznej samego badania dołączamy wypowiedź Marcina Marczaka – specjalisty ds. badań neuromarketingowych.
Prace badawcze zaplanowane w ramach zadania miały na celu przygotowanie wniosków i rekomendacji dla optymalizacji UI prototypu opracowanego systemu, pod kątem intuicyjności, funkcjonalności, ergonomii estetycznej i logiki poszczególnych procesów realizowanych w systemie przez jego użytkowników docelowych, które warto wdrożyć na etapie komercjalizacji. Zostały one zrealizowane z wykorzystaniem triangulacji metod biometrycznych (ET – Eyetracking stacjonarny) oraz tradycyjnych (IDI – idywidualnych wywiadów pogłębionych). Do realizacji prac badawczych wykorzystaliśmy eyetrackery Tobii Pro 120Hz, które gwarantują otrzymanie wysokiej jakości danych gromadzonych w trakcie prac badawczych i komfortowe warunki dla uczestników badania, zbliżone do autentycznego środowiska pracy. Wysoka częstotliwość próbkowania niweluje problemy utraty części danych wynikających z poruszania się respondentów w trakcie badania. Obróbka analityczna danych zarejestrowanych w trakcie eksperymentu była prowadzona w wykorzystaniem oprogramowania analitycznego Tobii Pro LAB wersja 1.138.[1] W próbie badawczej znaleźli się respondenci, którzy spełniali wymagania stawiane na stanowisku rekrutera tj.: biegła znajomość obsługi komputera, doświadczenie pracy z systemami ERP, dobra znajomość social mediów wykorzystywanych w procesie rekrutacji.
Badanie i analiza opracowana w formie map cieplnych[2] i ścieżek fiksacji[3] pozwoliły nam wyodrębnić elementy interfejsu, które w trakcie badania zostały:
- dostrzeżone i zrozumiane,
- dostrzeżone, ale niezrozumiane,
- niedostrzeżone i niezrozumiane.
Ponadto dzięki tej metodzie określiliśmy:
- kolejność zauważania danych elementów strony www,
- czas, po jakim zostały zauważone,
- średni czas patrzenia na dane elementy (tekst, piktogramy, znaki),
- sposób patrzenia (czy tekst jest czytany czy skanowany),
- procentowy rozkład uwagi przypadającej na dane elementy strony www,
- składniki strony przeszkadzające i odciągające uwagę.
Na tej podstawie scharakteryzowaliśmy kontakt użytkowników z interfejsem systemu, określiliśmy również ich pozytywne i / lub negatywne doświadczenia co do poszczególnych rozwiązań w projekcie UX / UI systemu. I finalnie opracowaliśmy rekomendacje do wdrożenia w celu usprawnienia systemu.
[1] Opis pakietu na stronie producenta: https://www.tobiipro.com/product-listing/tobii-pro-lab/
[2] Mapa cieplna to forma graficznej prezentacji danych, na badany obraz zostają nałożone kolorowe obszary, poszczególne kolory obrazują stopień intensywności patrzenia na dany element – im kolor cieplejszy tym bardzie intensywnie oglądany.
[3] Fiksacja to skupienie wzroku na danym elemencie ścieżka fiksacji pokazuje kolejność patrzenia na poszczególne elementy, sakady to szybkie ruchy oka zachodzące pomiędzy kolejnymi fiksacjami.