Kandydaci wykonują prawdziwe zadanie z tej pracy w narzędziu AI, którego już używają. Nagrywamy całą ich rozmowę z AI, oceniamy na jej podstawie sześć umiejętności i łączymy każdą ocenę z dokładną wiadomością, na której się opiera. Poniżej: co mierzymy, jak przyznajemy poziom i pełny przykład.
Umiejętności AI to to, co ktoś robi, aby uzyskać dobrą pracę z narzędzia AI. Wymieniamy sześć: zrozumienie zadania przed jego przekazaniem, zbriefowanie AI, sprawdzenie tego, co zwraca, poprawienie jej błędów, akceptacja pracy gotowej do wysłania i powtarzalność.
Daj prawdziwe zadanie z tej pracy i pozwól użyć narzędzia AI, którego kandydat już używa. Potem przeczytaj całą rozmowę, a nie tylko wynik. Umiejętności widać w tym, o co pytał, co sprawdził i co zmienił.
AI to najszybszy i najpewniejszy siebie młodszy współpracownik, jakiego kiedykolwiek masz. Sprawdzamy, jak dobrze ludzie nim kierują.
Ocena mierzy dwie rzeczy:
1. Umiejętności AIJak dobrze pracują z AI? Sześć umiejętności, odczytanych z tego, jak wykonują jedno dłuższe, prawdziwe zadanie z tej pracy. Oceniane od słabego do mocnego.
2. Umiejętności do tej pracyCzy sama praca jest dobra? Dwie lub trzy umiejętności dla danego stanowiska, odczytane z tego samego zadania. Oceniane poniżej, na poziomie lub powyżej poziomu.
Odczytane z jednego prawdziwego zadania na dane stanowisko. Dla każdej umiejętności: pytanie, na które odpowiada, jak wygląda słaba i mocna praca oraz prawdziwy przykład czegoś, co można wskazać w sesji.
Czy rozumie zadanie, zanim przekaże je AI?
Prosi od razu o odpowiedź. Przyjmuje brief bez zastrzeżeń.
Najpierw czyta materiały. Rozkłada problem na części. Zauważa, gdy brief jest błędny.
Przejrzał dane, zanim poprosił o odpowiedź.
Czy daje AI to, czego ona potrzebuje?
Wkleja wszystko i pisze „zrób to”.
Podaje kontekst, ograniczenia, przykłady i definicję gotowego. Decyzje wymagające osądu zostawia sobie.
Kazał AI używać tylko liczb z plików.
Czy wyłapuje błędy AI?
Oddaje to, co wygląda na gotowe.
Sprawdza ze źródłem. Wyłapuje zmyślony fakt i błędną liczbę.
Porównał sumę z liczbą od działu finansów.
Czy poprawia, gdy coś nie działa?
„Spróbuj jeszcze raz”, „zrób to lepiej”, w kółko.
Mówi, co jest nie tak i dlaczego. Wcześnie zmienia podejście.
Gdy zapytanie było błędne, powiedział, co jest nie tak.
Czy to, co oddaje, nadaje się do wysłania?
Wypełniacze, za długo, twierdzenia, których nikt nie sprawdził.
Gotowe dla odbiorcy. Mówi, co sprawdzono, a czego nie. Nie ujawnia poufnych danych.
Pięć linijek, zgodnie z prośbą, z podanymi założeniami.
Czy potrafi to powtarzać?
Za każdym razem robi to od nowa ręcznie.
Zapisane prompty, skille, workflowy i automatyzacje. Kolejne podejście jest szybsze i daje to samo.
Zrobił dwa kolejne kwartały tak samo, bez zaczynania od nowa.
Prompty, iteracje, wykrywanie halucynacji: umiejętności AI mają wiele nazw. Każde popularne pojęcie mieści się w jednej z naszych sześciu umiejętności. Jeśli Twoja firma ma własną listę umiejętności AI, użyj tej tabeli, żeby dopasować ją do naszej.
| Popularne pojęcie | Oceniane w ramach |
|---|---|
| Decydowanie, w czym AI może pomóc | Brief |
| Rozkładanie zadania na kroki | Zrozumienie |
| Prompty: cel, kontekst, ograniczenia, format, przykłady, definicja gotowego | Brief |
| Iterowanie | Korekta |
| Weryfikacja, błędy, halucynacje i uprzedzenia | Weryfikacja |
| Bezpieczeństwo, ochrona danych, poufność i zgodność z przepisami | Akceptacja |
| Prompty wielokrotnego użytku, workflowy, skille, agenci i automatyzacje | Ponowne użycie |
| Szablony i standardy dla zespołu | Ponowne użycie |
| Łączenie narzędzi i danych | Ponowne użycie oraz zadania z internetem i arkuszami |
| Krytyczne myślenie | Wszystkie sześć. To zbyt szerokie, by oceniać osobno, więc oceniamy tam, gdzie się pojawia. |
| Mierzenie wartości, jaką AI dodaje w czasie | Nieoceniane. Jedna praca tego nie pokaże. |
Bycie dobrym w AI nie wystarczy, jeśli praca jest błędna. W pełnej ocenie Lemonsignal odczytuje też dwie lub trzy umiejętności dla danego stanowiska, z tej samej pracy. Każda jest oznaczona: poniżej, na poziomie lub powyżej poziomu.
Umiejętności dla każdego stanowiskaKażde zadanie ma arkusz oceny napisany, zanim podejdzie do niego jakikolwiek kandydat. Dla każdej umiejętności arkusz wymienia dwa lub trzy punkty kontrolne: konkretne rzeczy, które zawiera dobra praca, na przykład „porównanie sumy z drugim źródłem”. Lemonsignal oznacza, które punkty kandydat spełnił i gdzie. Poziom wynika z poniższych zasad, tych samych dla każdego kandydata. Jeśli nie ma momentu do wskazania, poziom nie jest przyznawany.
Każda umiejętność daje punkty: słaby 0, częściowy 1, solidny 2, mocny 3. Wynik to zdobyte punkty w stosunku do możliwych. Poziom solidny we wszystkich sześciu to 12 z 18, czyli 67%. Umiejętność nietestowana jest pomijana po obu stronach, więc nie może obniżyć wyniku.
Wynik pokazuje ogólną siłę. Rekomendacja odpowiada na inne pytanie: czy ta osoba spełnia to, czego wymaga stanowisko? Każde stanowisko ma wymagania konieczne, na przykład weryfikacja na poziomie solidnym lub wyższym u analityka danych. Niespełnienie jednego daje wynik poniżej poziomu, nawet przy wysokim wyniku. Możesz zmienić wymagania konieczne przed wysłaniem zadania. To rekomendacja: decyzję podejmuje Twój zespół.
Każdy poziom opiera się na jednym z czterech rodzajów dowodów. Lemonsignal znajduje właściwe momenty, cytuje je i daje wstępną ocenę; Twój zespół ją sprawdza. Moment jest oznaczany turą w rozmowie („Tura 14” to wiadomość nr 14), a nie czasem, bo większość kandydatów pracuje w więcej niż jednym podejściu.
| Dowód | Na przykład | Jak jest oceniane |
|---|---|---|
| Znane błędy AI wbudowane w zadanie | Każde zadanie ma miejsce, w którym AI zwykle się myli. Czy ten błąd trafił do oddanej pracy? | Sprawdzane automatycznie: tak lub nie. |
| Rozmowa z AI | Przejrzał dane, zanim poprosił o odpowiedź. | Lemonsignal znajduje moment i daje wstępny poziom. Twój zespół go sprawdza. |
| Co oddano | Pięć linijek, zgodnie z prośbą, z podanymi założeniami. | Lemonsignal, według arkusza oceny. Twój zespół to sprawdza. |
| Co zbudowano | Zapisany prompt, skill, skrypt lub workflow. | Lemonsignal, według arkusza oceny. Twój zespół to sprawdza. |
Prawdziwy arkusz oceny jednego zadania, dla analityka danych. Kandydat dostaje taki brief: „Panel pokazuje spadek przychodu o 12% w marcu. Wyjaśnij CFO dlaczego, w pięciu linijkach. Potem zrób Q2 i Q3.” Otrzymane pliki zawierają wszystko, co potrzebne do sprawdzenia odpowiedzi. W arkuszu każdy wiersz to umiejętność. Spełnienie każdego punktu w środkowej kolumnie daje poziom solidny; spełnienie także tego po prawej daje mocny.
| Umiejętność | Punkty kontrolne dla poziomu solidnego | Dodatkowy punkt dla poziomu mocnego |
|---|---|---|
| Zrozumienie | Przejrzał dane, zanim poprosił o odpowiedź. Sprawdził, jak panel definiuje przychód. | Zakwestionował liczbę z panelu, zanim ją wyjaśnił, i uczynił z tego pytanie. |
| Brief | Przekazał AI tabele i definicję. Kazał używać tylko tych liczb. | Wniosek zostawił sobie; zapytania wykonała AI. |
| Weryfikacja | Sprawdził zapytanie AI przed użyciem jej liczby. Porównał sumę z drugim źródłem. | Sprawdził drugi miesiąc, by wykluczyć jednorazowy przypadek. |
| Korekta | Gdy zapytanie było błędne, powiedział, co jest nie tak. | Dodał kontrolę, żeby to się nie powtórzyło. |
| Akceptacja | Pięć linijek, zgodnie z prośbą. Żadnego twierdzenia bez źródła. Podane założenia. | Wskazał, co jest jeszcze niezweryfikowane. |
| Ponowne użycie | Zrobił Q2 i Q3 tak samo, bez ręcznego powtarzania. | Oddał zbudowany prompt, skill lub zapytanie. |
Wynik, jaki ten arkusz dał dla jednego kandydata. Każdy poziom prowadzi do tury, z której pochodzi.
Co oddał, dokładnie w tej formie. Każde oznaczenie to umiejętność z jego wyniku.
Z powodu zmiany cen 1 marca.
| Miesiąc | Przychód (tys. €) | Zmiana |
|---|---|---|
| Styczeń | 1,212 | |
| Luty | 1,240 | +2.3% |
| Marzec | 1,091 | −12.0% |
| Kwiecień | 1,118 | +2.5% |
| Maj | 1,152 | +3.0% |
| Czerwiec | 1,139 | −1.1% |
| Lipiec | 1,101 | −3.3% |
| Sierpień | 1,087 | −1.3% |
| Wrzesień | 1,164 | +7.1% |
Lemonsignal daje wstępną ocenę każdej sesji. Twój menedżer rekrutujący lub rekruter ogląda sesję, sprawdza ocenę i może dodać komentarze. To on decyduje. My piszemy zadania i arkusze oceny.
Arkusz oceny powstaje, zanim ktokolwiek podejdzie do zadania, więc każdy kandydat jest oceniany tak samo. Każdy poziom prowadzi do momentu, na którym się opiera, więc każdą ocenę możesz sprawdzić samodzielnie.
Sprawdzamy, czy zadanie wykonuje osoba, do której je wysłano. To, co oddaje, musi zgadzać się z jej rozmową z AI. A pytanie na rozmowę dotyczy konkretnego momentu, na który trudno odpowiedzieć bez wykonania tej pracy.
Nagrywamy rozmowę z narzędziem AI, oddaną pracę i wszystko, co do niej zbudowano. Widzi to Twój zespół rekrutacyjny i kandydat. Wszystko jest przechowywane w UE i przetwarzane zgodnie z RODO.
Lemonsignal czyta całą rozmowę, oznacza ważne momenty i daje wstępną ocenę. Każdy poziom prowadzi do momentu, z którego pochodzi. Twój zespół rekrutacyjny ogląda sesję, sprawdza ocenę, dodaje komentarze i decyduje.
Wyniki z tego samego zadania są oceniane według tego samego arkusza, więc można je porównywać. Inne zadanie lub Twoje własne ma własny arkusz.
Wskaż w briefie, których narzędzi używać. Jeśli użyje innego, możemy nie odczytać rozmowy, a umiejętności od niej zależne będą nietestowane, a nie obniżone.
Daj prawdziwe zadanie z tej pracy, pozwól użyć własnego narzędzia AI, a potem przeczytaj rozmowę. Następnie zapytaj o jeden moment z niej: dlaczego kandydat zaufał liczbie albo dlaczego zmienił brief. Prośba o opisanie, jak ktoś używa AI, pokazuje, jak dobrze o tym mówi, a nie jak dobrze to robi.
Jeśli będą używać AI w pracy, to tak. Zakaz sprawdza sposób pracy, którego nie będą stosować. Dopuszczenie AI bez czytania rozmowy to drugi błąd: widzisz gotową pracę i nie wiesz, kto myślał.
Tych samych sześciu. Marketer sprawdza liczbę zmyśloną przez AI; inżynier sprawdza poprawkę, która wygląda dobrze, a nie działa. Między stanowiskami zmienia się zadanie, a nie umiejętności.
Wynik uśrednia sześć umiejętności. Rekomendacja patrzy na to, co na stanowisku jest konieczne. Wysoki wynik z wymaganiem koniecznym poniżej poziomu nie oznacza dopasowania, a rezultat mówi, o którą umiejętność chodzi.
Używamy plików cookie, aby analizować ruch w serwisie i ulepszać jego działanie.
Polityka prywatnościUżywamy cookie.