Кандидати виконують реальне завдання з роботи в ШІ-інструменті, яким вони вже користуються. Ми записуємо всю їхню розмову зі ШІ, оцінюємо за нею шість навичок і прив’язуємо кожну оцінку до конкретного повідомлення, на якому вона ґрунтується. Далі: що ми вимірюємо, як визначається рівень і повний приклад.
Навички ШІ це те, що робить людина, щоб отримати від ШІ-інструмента добру роботу. Ми називаємо шість: зрозуміти завдання перед передачею, поставити його ШІ, перевірити те, що він повернув, виправити, коли він помиляється, затвердити роботу, готову до відправлення, і зробити її відтворюваною.
Дайте людині реальне завдання з роботи й дозвольте ШІ-інструмент, яким вона вже користується. Потім прочитайте всю розмову, а не лише результат. Навички видно в тому, що вона питала, що перевіряла й що змінювала.
ШІ це найшвидший і найвпевненіший молодший колега, який у вас будь-коли був. Ми перевіряємо, наскільки добре люди ним керують.
Оцінювання вимірює дві речі:
1. Навички ШІНаскільки добре вони працюють зі ШІ? Шість навичок, зчитаних із того, як вони виконують одне довше реальне завдання з роботи. Оцінка від Слабо до Сильно.
2. Робочі навичкиЧи добра сама робота? Дві-три навички для ролі, зчитані з того самого завдання. Оцінка нижче, на рівні чи вище планки.
Зчитується з одного реального завдання для ролі. Для кожної навички: на яке питання вона відповідає, як виглядає слабка й сильна робота і реальний приклад того, на що можна вказати в сесії.
Чи розуміють вони завдання, перш ніж передати його ШІ?
Спершу просить відповідь. Сприймає бриф як є.
Спершу читає матеріал. Розбиває проблему на частини. Помічає, коли бриф хибний.
Подивився на дані, перш ніж просити відповідь.
Чи дають вони ШІ те, що йому потрібно?
Вставляє все й пише «зроби це».
Дає контекст, обмеження, приклади й критерій готовності. Важливі рішення лишає за собою.
Сказав ШІ використовувати лише числа з файлів.
Чи помічають вони, коли ШІ помиляється?
Здає те, що виглядає готовим.
Звіряє з джерелом. Ловить вигаданий факт і хибне число.
Звірив суму з числом фінансового відділу.
Чи виправляють вони те, що не працює?
«Спробуй ще», «зроби краще», знову й знову.
Каже, що не так і чому. Рано змінює підхід.
Коли запит був хибний, сказав, що в ньому не так.
Чи готове до відправлення те, що вони здають?
Вода, задовго, твердження, які ніхто не перевірив.
Готове для читача. Каже, що перевірено, а що ні. Не пускає конфіденційні дані назовні.
П’ять рядків, як просили, із зазначеними припущеннями.
Чи роблять вони роботу відтворюваною?
Щоразу переробляє роботу вручну.
Збережені промпти, скіли, робочі процеси й автоматизації. Наступний запуск швидший і такий самий.
Зробив наступні два квартали так само, не починаючи спочатку.
Промптинг, ітерації, перевірка галюцинацій: навички ШІ мають багато назв. Кожен поширений термін покриває одна з наших шести навичок. Якщо у вашої компанії є власний список навичок ШІ, зіставте його з нашим за цією таблицею.
| Поширений термін | Оцінюється в |
|---|---|
| Вирішити, у чому ШІ може допомогти | Постановка завдання |
| Розбити завдання на кроки | Розуміння |
| Промптинг: мета, контекст, обмеження, формат, приклади, критерій готовності | Постановка завдання |
| Ітерації | Виправлення |
| Перевірка, помилки, галюцинації й упередженість | Перевірка |
| Безпека, захист даних, конфіденційність і комплаєнс | Приймання |
| Багаторазові промпти, робочі процеси, скіли, агенти й автоматизації | Повторюваність |
| Шаблони й стандарти для команди | Повторюваність |
| Підключення інструментів і даних | Повторюваність, а також завдання з вебом і таблицями |
| Критичне мислення | Усі шість. Це надто широко, щоб оцінювати окремо, тому ми оцінюємо там, де воно проявляється. |
| Вимірювання цінності, яку ШІ додає з часом | Не оцінюється. Одна робота цього не покаже. |
Добре працювати зі ШІ замало, якщо робота хибна. У повному оцінюванні Lemonsignal також зчитує дві-три навички для ролі з тієї самої роботи. Кожна позначається як нижче, на рівні чи вище планки.
Робочі навички для кожної роліКожне завдання має оцінювальний лист, написаний до того, як його візьме будь-який кандидат. Для кожної навички лист містить дві-три контрольні точки: конкретні речі, які робить добра робота, наприклад «звірив суму з другим джерелом». Lemonsignal позначає, які контрольні точки кандидат виконав і де. Рівень випливає з наведених нижче правил, однакових для кожного кандидата. Якщо немає моменту, на який можна вказати, рівень не визначається.
Кожна навичка дає бали: Слабо 0, Частково 1, Упевнено 2, Сильно 3. Оцінка це набрані бали від можливих. Упевнено в усіх шести дає 12 із 18, тобто 67%. Навичка зі статусом Не перевірялось не входить в обидва числа, тому не може знизити оцінку.
Оцінка показує загальну силу. Рекомендація ставить інше питання: чи відповідає ця людина тому, що потрібно ролі? Кожна роль має обов’язкові вимоги, наприклад Перевірка на рівні Упевнено чи вище для аналітика даних. Не виконано одну, і результат буде Нижче планки навіть за високої оцінки. Обов’язкові вимоги можна змінити перед надсиланням завдання. Це рекомендація: рішення ухвалює ваша команда.
Кожен рівень спирається на один із чотирьох типів доказів. Lemonsignal знаходить відповідні моменти, цитує їх і дає первинну оцінку; ваша команда її перевіряє. Момент позначається реплікою в розмові («Репліка 14» це 14-те повідомлення), а не часом, бо більшість кандидатів працює не за один присід.
| Докази | Наприклад | Як це оцінюється |
|---|---|---|
| Відомі помилки ШІ, закладені в завдання | Кожне завдання має місце, де ШІ зазвичай помиляється. Чи дійшла ця помилка до роботи, яку здано? | Перевіряється автоматично: так чи ні. |
| Їхня розмова зі ШІ | Подивився на дані, перш ніж просити відповідь. | Lemonsignal знаходить момент і дає перший рівень. Ваша команда його перевіряє. |
| Що вони здали | П’ять рядків, як просили, із зазначеними припущеннями. | Lemonsignal, за оцінювальним листом. Ваша команда це перевіряє. |
| Що вони створили | Збережений промпт, скіл, скрипт чи робочий процес. | Lemonsignal, за оцінювальним листом. Ваша команда це перевіряє. |
Реальний оцінювальний лист для одного завдання, аналітика даних. Кандидат отримує такий бриф: «Дашборд показує падіння виторгу на 12% у березні. Поясніть чому для CFO в п’яти рядках. Потім зробіть Q2 і Q3». Отримані файли містять усе, щоб перевірити відповідь. У листі кожен рядок це навичка. Виконайте всі контрольні точки в середній колонці для Упевнено, а також точку праворуч для Сильно.
| Навичка | Контрольні точки для Упевнено | Додаткова точка для Сильно |
|---|---|---|
| Розуміння | Подивився на дані, перш ніж просити відповідь. Перевірив, як дашборд визначає виторг. | Поставив під сумнів число дашборду, перш ніж його пояснювати, і зробив це питанням. |
| Постановка завдання | Дав ШІ таблиці й визначення. Сказав використовувати лише ці числа. | Лишив висновок за собою; запити робив ШІ. |
| Перевірка | Перевірив запит ШІ перед використанням його числа. Звірив суму з другим джерелом. | Перевірив другий місяць, щоб виключити разовий випадок. |
| Виправлення | Коли запит був хибний, сказав, що не так. | Додав перевірку, щоб це не повторилося. |
| Приймання | П’ять рядків, як просили. Жодного твердження без джерела. Припущення зазначено. | Назвав те, що досі не перевірено. |
| Повторюваність | Зробив Q2 і Q3 так само, не переробляючи вручну. | Здав промпт, скіл чи запит, який створив. |
Результат, який цей лист дав для одного кандидата. Кожен рівень веде до репліки, звідки він узятий.
Що він здав, у тому вигляді, в якому здав. Кожна позначка відповідає навичці з його результату.
Через зміну цін 1 березня.
| Місяць | Виторг (тис. €) | Зміна |
|---|---|---|
| Січень | 1,212 | |
| Лютий | 1,240 | +2.3% |
| Березень | 1,091 | −12.0% |
| Квітень | 1,118 | +2.5% |
| Травень | 1,152 | +3.0% |
| Червень | 1,139 | −1.1% |
| Липень | 1,101 | −3.3% |
| Серпень | 1,087 | −1.3% |
| Вересень | 1,164 | +7.1% |
Lemonsignal дає первинну оцінку кожної сесії. Ваш менеджер із найму чи рекрутер дивиться сесію, перевіряє оцінку й може додати коментарі. Рішення ухвалюють вони. Завдання й оцінювальні листи пишемо ми.
Оцінювальний лист пишеться до того, як хтось візьметься за завдання, тому для кожного кандидата вимоги однакові. Кожен рівень веде до моменту, на якому він ґрунтується, тому будь-яку оцінку можна перевірити самому.
Ми перевіряємо, що завдання виконує та людина, якій ви його надіслали. Те, що вона здає, має збігатися з її розмовою зі ШІ. А питання на співбесіді стосується конкретного моменту, на який важко відповісти за роботу, якої ти не робив.
Ми записуємо розмову з ШІ-інструментом, роботу, яку здають, і все, що для цього створили. Це бачать ваша команда найму й кандидат. Усе зберігається в ЄС і обробляється згідно з GDPR.
Lemonsignal читає всю розмову, позначає важливі моменти й дає первинну оцінку. Кожен рівень веде до моменту, звідки він узятий. Ваша команда найму дивиться сесію, перевіряє оцінку, додає коментарі й ухвалює рішення.
Результати за тим самим завданням оцінюються за тим самим листом, тому вони порівнянні. Інше завдання чи ваше власне має свій лист.
Скажіть у брифі, якими інструментами користуватися. Якщо кандидат візьме інший, ми можемо не прочитати розмову, і навички, що від неї залежать, отримають статус Не перевірялось, а не знижку.
Дайте реальне завдання з роботи, дозвольте користуватися власним ШІ-інструментом і прочитайте розмову після цього. Потім запитайте про один момент із неї: чому повірили числу чи чому змінили бриф. Коли людей просять описати, як вони користуються ШІ, видно, наскільки добре вони про це говорять, а не наскільки добре роблять.
Якщо вони користуватимуться ШІ на роботі, так. Заборона перевіряє спосіб роботи, яким вони не користуватимуться. Дозвіл без читання розмови це інша помилка: ви бачите готову роботу й не можете сказати, хто думав.
Ті самі шість. Маркетолог перевіряє число, яке вигадав ШІ; інженер перевіряє виправлення, яке виглядає правильним, але таким не є. Від ролі до ролі змінюється завдання, а не навички.
Оцінка усереднює шість навичок. Рекомендація дивиться на те, що обов’язкове для ролі. Висока оцінка з обов’язковою вимогою нижче планки не є відповідністю, і результат каже, яка це навичка.
Ми використовуємо cookie, щоб аналізувати трафік сайту й покращувати ваш досвід.
Політика конфіденційностіТут є cookie.