Czym jest biegłość w AI? I jak ją testować w rekrutacji.
Biegłość w AI (AI fluency) to umiejętność wykonywania dobrej, poprawnej pracy z pomocą AI. Nie wiedza o AI ani sprytne prompty, lecz zrozumienie zadania, zbriefowanie AI, wyłapanie jej błędów i oddanie pracy, pod którą można się podpisać.
Definicja i znaczenie biegłości w AI
AI to najszybszy i najpewniejszy siebie młodszy współpracownik, jakiego większość z nas kiedykolwiek miała. Biegłość w AI to to, jak dobrze nim kierujesz: co mu przekazujesz, jak go briefujesz, czy zauważasz, gdy się myli, i co puszczasz dalej pod swoim nazwiskiem.
Definicja AI fluency według Stanford HAI
Definiuje AI fluency jako „the capacity to collaborate productively and responsibly with AI systems”. Przeczytaj na hai.stanford.edu
AI Fluency Framework Anthropic
Autorzy: Rick Dakan i Joseph Feller z Anthropic. Wymienia cztery kompetencje, 4D: Delegation, Description, Discernment i Diligence. Przeczytaj w Anthropic Academy
Czym jest znajomość AI i czym różni się od biegłości w AI?
Oba pojęcia bywają używane zamiennie. Różnica ma znaczenie przy testowaniu: jedno dotyczy wiedzy, drugie działania.
Znajomość AI (AI literacy)
Biegłość w AI
Pytanie
Czy wie, czym jest AI i co może pójść nie tak?
Czy potrafi wykonać dobrą, poprawną pracę z pomocą AI?
Co obejmuje
Jak działają narzędzia AI, w czym są dobre, a w czym słabe, prywatność i uprzedzenia
Briefowanie AI, sprawdzanie tego, co zwraca, poprawianie i oddawanie pracy, która jest poprawna
Jak się ją zwykle testuje
Pytania z poprawną odpowiedzią
Zadanie wykonane w narzędziu AI, oceniane według sposobu pracy i tego, co oddano
Kto jej potrzebuje
Każdy, kto używa AI w pracy
Każdy, kto wykonuje pracę z pomocą AI, na dowolnym stanowisku
Umiejętności biegłości w AI: sześć, które mierzymy
Te same sześć umiejętności na każdym stanowisku. Obok każdej najbliższe z 4D Anthropic; to dopasowanie to nasza interpretacja, nie ich.
Umiejętność
Jak wygląda mocny poziom
Najbliższe z 4D
Zrozumienie Czy rozumie zadanie, zanim przekaże je AI?
Najpierw czyta materiały. Rozkłada problem na części. Zauważa, gdy brief jest błędny.
Delegation
Brief Czy daje AI to, czego ona potrzebuje?
Podaje kontekst, ograniczenia, przykłady i definicję gotowego. Decyzje wymagające osądu zostawia sobie.
Description
Weryfikacja Czy wyłapuje błędy AI?
Sprawdza ze źródłem. Wyłapuje zmyślony fakt i błędną liczbę.
Discernment
Korekta Czy poprawia, gdy coś nie działa?
Mówi, co jest nie tak i dlaczego. Wcześnie zmienia podejście.
Discernment i Description
Akceptacja Czy to, co oddaje, nadaje się do wysłania?
Gotowe dla odbiorcy. Mówi, co sprawdzono, a czego nie. Nie ujawnia poufnych danych.
Diligence
Ponowne użycie Czy potrafi to powtarzać?
Zapisane prompty, skille, workflowy i automatyzacje. Kolejne podejście jest szybsze i daje to samo.
Brak bezpośredniego odpowiednika
Nie należy do biegłości w AI i nigdy nie jest oceniane: długość i liczba promptów, szybkość, wybór narzędzia AI, elegancki styl czy idealny angielski.
Quiz o AIPytania wielokrotnego wyboru lub krótkie odpowiedzi o tym, jak działa AI i kiedy jej używać.PokazujeCo ktoś wie o AI.PomijaCzy potrafi jej używać. Wiedzieć, że AI zmyśla, to nie to samo, co to wyłapać.
Symulacja z wbudowaną AIKrótkie zadanie na platformie testowej z wbudowanym czatem AI.PokazujeJak ktoś pisze prompty i reaguje, w standardowych warunkach łatwych do porównania.PomijaJak pracuje we własnym narzędziu i środowisku, nad pracą tak długą i nieuporządkowaną jak w rzeczywistości.
Prawdziwe zadanie we własnym narzędziu AIZadanie z tej pracy, wykonane w narzędziu używanym w pracy, z nagraną całą rozmową.PokazujeJak ktoś rozumie, briefuje, sprawdza, poprawia i oddaje, przy pracy podobnej do prawdziwej.PomijaTrwa dłużej: od jednej do trzech godzin czasu kandydata i ktoś, kto to przeczyta i oceni.
Ocena biegłości w AI na prawdziwej pracy, w czterech krokach
1Wybierz prawdziwe zadanie z tej pracy.Coś, co ta osoba robiłaby w pierwszym miesiącu, z plikami, które się z tym wiążą. Nie łamigłówkę.
2Wbuduj jedno miejsce, w którym AI zwykle się myli.Liczba, która musi zgadzać się ze źródłem, brief z luką. Tu widać, kto sprawdza.
3Pozwól użyć własnego narzędzia AI i napisz, że AI jest oczekiwana.Claude Code, Codex, Claude Cowork lub ChatGPT. Kto nie jest pewien, czy AI jest dozwolona, ukrywa, jak pracuje.
4Oceniaj rozmowę, a nie tylko wynik.AI sprawia, że większość gotowej pracy wygląda dobrze. Rozmowa pokazuje, kto myślał i kto sprawdzał.
W Lemonsignal kandydaci wykonują prawdziwe zadanie we własnym narzędziu AI. Ta marketerka dostała brief: „W przyszłym miesiącu wchodzimy do Niemiec z budżetem 50 tys. €. Na podstawie naszego pozycjonowania, zeszłorocznych wyników kampanii w Wielkiej Brytanii i stron trzech konkurentów zdecyduj, na co pójdą pieniądze, w pięciu linijkach dla CMO, i napisz e-mail o premierze.” Lemonsignal odczytał sześć umiejętności z jej rozmowy z AI, a każdy poziom prowadzi do tury, z której pochodzi.
LemonsignalSarah Miller
Sarah MillerGrowth marketing manager · Zadanie: zaplanuj budżet premiery · ChatGPT · 3 godz. 20 min
Sprawdzone przez Lemonsignal
78%Dobre dopasowanie, jedno otwarte pytanie
Planowała według kosztu klientów w Wielkiej Brytanii, a nie kliknięć.
Nie użyła żadnej liczby, której nie mogła powiązać ze źródłem.
Sprawdziła każde twierdzenie o konkurencji przed wysyłką.
ZrozumienieMocnyZauważyła, że kliknięcia i płacący klienci wskazują różne kanały, i planowała według klientów.Tura 3
BriefSolidnyPrzekazała dane z Wielkiej Brytanii i budżet oraz kazała korzystać tylko z nich.Tura 5
WeryfikacjaMocnyPrzed użyciem każdej liczby pytała o jej źródło, a twierdzenia AI sprawdziła na stronach trzech konkurentów.Tury 9, 21
KorektaCzęściowyCztery razy napisała „zrób to lepiej” o e-mailu, zanim powiedziała, co jest nie tak.Tury od 14 do 18
AkceptacjaMocnyPrzed akceptacją sprawdziła każde twierdzenie w e-mailu. Zaznaczyła, że koszty w Niemczech to założenie do sprawdzenia po dwóch tygodniach.
Ponowne użycieSolidnyFrancję zrobiła promptem napisanym dla Niemiec.
Umiejętności do tej pracy
Budżet oparty na prawdziwych liczbachPowyżej poziomu
Wybór właściwych kanałówNa poziomie
PozycjonowanieNa poziomie
Co oddała, dokładnie w tej formie. Każde oznaczenie to umiejętność z jej wyniku.
ZrozumienieMocnyAkceptacjaMocny
Dla CMOPremiera w Niemczech: na co idzie 50 tys. €
Wyszukiwarka Google20 tys. €
Newslettery partnerów10 tys. €
LinkedIn, jako test10 tys. €
Meta5 tys. €
Rezerwa na tydzień 35 tys. €
W Wielkiej Brytanii Google i newslettery partnerów przyniosły płacących klientów po 200 € każdy.
Na LinkedIn klient kosztował 400 €, więc 10 tys. € idzie na test.
Przy kosztach z Wielkiej Brytanii to około 185 klientów.
Koszty w Niemczech to założenie: przyjmuję, że są o jedną czwartą wyższe, czyli około 150.
Sprawdzić po dwóch tygodniach i przenieść rezerwę 5 tys. € na to, co działa.
WeryfikacjaMocnyKorektaCzęściowy
Temat: Zaplanuj następny kwartał zespołu w jedno popołudnie
Każdy projekt, każdy właściciel, jedna strona.
Arkusze i spotkania statusowe przestają działać powyżej pięciu osób. Umieść każdy projekt, termin i właściciela na jednej wspólnej osi czasu i zobacz, kto utknął, zanim coś się opóźni.
Dla zespołów od 5 do 50 osób, teraz po niemiecku. Wypróbuj bezpłatnie przez 14 dni.
Rozpocznij bezpłatny okres próbny
8 € za osobę miesięcznie po okresie próbnym.
Na konkretne stanowisko: pełna ocena
Jedno prawdziwe zadanie na dane stanowisko, sześć umiejętności oraz dwie lub trzy umiejętności do tej pracy, ze wstępną oceną od Lemonsignal, którą sprawdza Twój zespół.
To umiejętność wykonywania dobrej, poprawnej pracy z pomocą AI: zrozumienie zadania, dobre zbriefowanie AI, wyłapanie jej błędów, poprawienie ich i oddanie pracy gotowej dla odbiorcy. Stanford HAI nazywa to zdolnością do produktywnej i odpowiedzialnej współpracy z systemami AI.
Czym różni się biegłość w AI od znajomości AI?
Znajomość AI to wiedza, czym jest AI, w czym jest dobra i co może pójść nie tak. Biegłość w AI to dobre używanie jej w prawdziwej pracy. Można wiedzieć, że AI zmyśla, a mimo to tego nie zauważyć, gdy to się dzieje.
Czy biegłość w AI to to samo co prompt engineering?
Nie. Dobry brief dla AI to tylko część. Większość reszty dzieje się wokół promptu: najpierw zrozumienie zadania, potem sprawdzenie tego, co wraca, i decyzja, co jest gotowe do oddania.
Jak testować biegłość w AI na rozmowie rekrutacyjnej?
Daj prawdziwe zadanie z tej pracy, pozwól kandydatom użyć własnego narzędzia AI i przeczytaj ich rozmowę z AI. Potem zapytaj o jeden moment z niej. Kroki opisuje nasz poradnik o rozmowach z użyciem AI.
Czy można testować biegłość w AI na stanowiskach nietechnicznych?
Tak. Marketer może zaplanować budżet premiery z ChatGPT, analityk wyjaśnić spadek przychodu, każdy może streścić długi dokument. Sześć umiejętności jest takich samych na każdym stanowisku, zmienia się zadanie.
Czy test biegłości w AI od Lemonsignal ocenia AI?
Lemonsignal czyta całą rozmowę, oznacza ważne momenty i daje wstępną ocenę. Każdy poziom prowadzi do momentu, z którego pochodzi. Twój zespół rekrutacyjny ogląda sesję, sprawdza ocenę, dodaje komentarze i decyduje.