Как проверить навыки ИИ у кандидата.
Дайте настоящее задание с этой работы и разрешите свой ИИ-инструмент. Затем прочитайте разговор с ИИ. Хорошо работает с ИИ не тот, кто использует его больше всех, а тот, кто замечает его ошибки.
Как выглядят сильные навыки ИИ у кандидата
Две трети руководителей (66%) говорят, что не наняли бы человека без навыков ИИ, по данным Work Trend Index 2024 от Microsoft и LinkedIn, опрос 31 000 человек (Microsoft). Мало кто говорит, что это за навыки. На практике тот, кто хорошо работает с ИИ, управляет им как быстрым и уверенным младшим коллегой: решает, что поручить, ставит задачу и проверяет результат.
Признаки сильных навыков ИИ у кандидата
- Понимание Сначала читает материалы. Разбивает задачу на части. Замечает, когда бриф неверен.
- Постановка задачи Даёт контекст, ограничения, примеры и критерии готовности. Решения оставляет за собой.
- Проверка Проверяет по источнику. Ловит выдуманный факт и неверную цифру.
- Исправление Говорит, что не так и почему. Рано меняет подход.
- Приёмка Готово для читателя. Сказано, что проверено, а что нет. Конфиденциальные данные убраны.
- Повторяемость Сохранённые промпты, скиллы, рабочие процессы и автоматизации. Следующий запуск быстрее и даёт тот же результат.
Не говорит о навыках ИИ ни в ту, ни в другую сторону
- Сколько промптов пишет кандидат и какой они длины
- Как быстро заканчивает
- Какой ИИ-инструмент использует и сколько может назвать
- Сертификат или курс
- Гладкий текст или безупречный английский
Что не показывает, есть ли у кандидата навыки ИИ
Большинство быстрых способов проверки измеряют что-то рядом: использование, знания или результат.
| Метод | Что это показывает | Почему этого мало |
|---|---|---|
| Вопрос «Вы используете ИИ?» | Все говорят да. | Это показывает, что используют, но не то, проверяют ли результат. |
| Викторина об ИИ | Что они знают об ИИ. | Знать, что ИИ выдумывает, не то же самое, что поймать его на этом. |
| Сертификат или курс | Что курс пройден. | Большинство курсов проверяют знания вопросами с правильным ответом, а не работу. |
| Только готовая работа | Что было сдано. | С ИИ большинство готовых работ выглядят хорошо. Не видно, кто думал. |
| Тест с запретом ИИ | Как они работают без ИИ. | На работе они будут работать не так, а запрет трудно соблюдать. |
Как оценивать навыки ИИ на каждом этапе найма
Тест на каждом этапе не нужен. Лучший вопрос в начале, настоящее задание и один уточняющий вопрос в конце покрывают большую часть.
- 1В заявкеВместо «Вы используете ИИ?» задайте один конкретный вопрос: «Расскажите о случае, когда ИИ дал вам неверный результат. Как вы это заметили?» В настоящем ответе есть подробность.
- 2На первом звонкеПопросите рассказать о последней работе с ИИ: что дали ему, что получили, что изменили. Слушайте про проверку, а не про инструменты.
- 3В заданииДайте настоящее задание с этой работы, в своём ИИ-инструменте, с ожиданием ИИ. Заложите одно место, где ИИ обычно ошибается. Собирайте разговор с ИИ, а не только результат.
- 4На финальном собеседованииВыберите один момент из разговора с ИИ и спросите о нём. Почему поверили этой цифре; зачем переписали бриф. За работу, которую вы не делали, ответить трудно.
Вопросы о навыках ИИ для первого звонка
- 1Расскажите о последнем случае, когда ИИ дал вам неверный результат. Как вы это заметили?
- 2Что вы говорите ИИ перед началом такой задачи?
- 3Что вы никогда не позволяете ИИ решать за вас?
- 4Что вы проверили, прежде чем отправить последнюю работу, сделанную с ИИ?
Заложите одно место, где ИИ обычно ошибается
На чистом задании ИИ почти у всех справляется, и вы мало что узнаёте. В настоящей работе есть места, где ИИ ошибается. Заложите одно, и вы увидите, кто проверяет. Пять видов, которые работают на большинстве ролей:
| Вид | Что это показывает |
|---|---|
| Цифра, которая должна совпасть с источником | Итог от ИИ выглядит верным, но таким не является. Кто сверит его с файлом? |
| Определение, меняющее ответ | Слово вроде «выручка» или «активный пользователь» здесь значит что-то конкретное. Кто спросит, прежде чем ИИ догадается? |
| Деталь, спрятанная в длинном документе | Одна строка в контракте или расшифровке меняет результат. Кто её прочитает, а кто даст ИИ пробежаться? |
| Источник, который не говорит того, что утверждает ИИ | ИИ ссылается на страницу или исследование. Кто её откроет? |
| То, что не должно выйти наружу | Банковские реквизиты, зарплата, имя клиента. Кто уберёт это перед сдачей? |
Читайте разговор с ИИ, а не только результат
Готовая работа показывает, что было сдано. Разговор показывает, как к этому пришли. Шесть вопросов, на которые он отвечает, одинаковых на любой роли:
| Навык | Вопрос | Как выглядит слабый уровень |
|---|---|---|
| Понимание | Понимают ли они задачу, прежде чем передать её ИИ? | Сразу просит ответ. Принимает бриф как есть. |
| Постановка задачи | Дают ли они ИИ всё необходимое? | Вставляет всё подряд и пишет «сделай это». |
| Проверка | Замечают ли они, когда ИИ ошибается? | Сдаёт то, что выглядит готовым. |
| Исправление | Исправляют ли они, когда не получается? | «Попробуй ещё раз», «сделай лучше», снова и снова. |
| Приёмка | Готово ли к отправке то, что они сдают? | Вода, слишком длинно, утверждения, которые никто не проверял. |
| Повторяемость | Делают ли они работу повторяемой? | Каждый раз переделывает работу вручную. |
В Lemonsignal кандидаты выполняют задание в Claude Code, Codex, Claude Cowork или ChatGPT, а вы получаете весь разговор в виде записи сессии, с оценкой шести навыков, и каждая оценка ведёт к моменту, откуда она взята.
Вопросы о проверке навыков ИИ
Как проверить, хорошо ли кандидат работает с ИИ?
Дайте настоящее задание с этой работы, разрешите ИИ-инструмент, которым кандидат уже пользуется, и скажите, что ИИ ожидается. Заложите одно место, где ИИ обычно ошибается. Затем прочитайте разговор с ИИ, а не только то, что сдано, и на собеседовании спросите об одном моменте из него.
Что значит «хорошо работает с ИИ» для кандидата?
Что он получает с ИИ хороший и верный результат. Понимает задачу, прежде чем передать её ИИ, даёт всё необходимое, ловит его на ошибке, исправляет и сдаёт работу, готовую к отправке. Использовать ИИ много или быстро не то же самое.
Можно ли по резюме понять, хорошо ли человек работает с ИИ?
Надёжно нет. В резюме можно перечислить инструменты и курсы, но не то, проверяет ли человек ответы ИИ. Задайте один конкретный вопрос в заявке и проверьте заданием.
Какие вопросы показывают, хорошо ли кандидат работает с ИИ?
Вопросы о конкретном моменте: когда ИИ ошибся и как это заметили, что сказали ему перед началом, что проверили перед отправкой. Расплывчатый ответ это и есть сигнал.
Стоит ли разрешать кандидатам ИИ в тесте?
Если на работе они будут использовать ИИ, да. Тест с запретом ИИ измеряет, как человек работает без него, а после найма он будет работать иначе.
Сколько должен занимать тест навыков ИИ?
От одного до трёх часов времени кандидата на задании, близком к настоящей работе, со сроком в несколько дней. Более короткие тесты годятся для первого скрининга, но меньше показывают, как человек проверяет и исправляет работу.