Кандидаты выполняют настоящее задание с этой работы в ИИ-инструменте, которым уже пользуются. Мы записываем весь их разговор с ИИ, оцениваем по нему шесть навыков и связываем каждую оценку с конкретным сообщением, на котором она основана. Ниже: что мы измеряем, как ставится уровень, и полный пример.
Навыки ИИ это то, что делает человек, чтобы получить от ИИ-инструмента хорошую работу. Мы называем шесть: понять задачу, прежде чем передать её, поставить задачу ИИ, проверить ответ, исправить его при ошибке, принять работу, готовую к отправке, и сделать это повторяемым.
Дайте человеку настоящее задание с этой работы и разрешите ИИ-инструмент, которым он уже пользуется. Затем прочитайте весь разговор, а не только результат. Навыки видны в том, что он спрашивал, проверял и менял.
ИИ это самый быстрый и самый уверенный младший коллега, какой у вас был. Мы проверяем, насколько хорошо люди им управляют.
Оценка измеряет две вещи:
1. Навыки ИИНасколько хорошо они работают с ИИ? Шесть навыков, по тому, как выполнено одно длинное настоящее задание с этой работы. Оценка от «Слабо» до «Сильно».
2. Рабочие навыкиХороша ли сама работа? Два-три навыка для роли, по тому же заданию. Оценка: ниже планки, на её уровне или выше.
По одному настоящему заданию для роли. По каждому навыку: на какой вопрос он отвечает, как выглядит слабая и сильная работа и реальный пример того, на что можно указать в сессии.
Понимают ли они задачу, прежде чем передать её ИИ?
Сразу просит ответ. Принимает бриф как есть.
Сначала читает материалы. Разбивает задачу на части. Замечает, когда бриф неверен.
Посмотрел данные, прежде чем просить ответ.
Дают ли они ИИ всё необходимое?
Вставляет всё подряд и пишет «сделай это».
Даёт контекст, ограничения, примеры и критерии готовности. Решения оставляет за собой.
Сказал ИИ использовать только цифры из файлов.
Замечают ли они, когда ИИ ошибается?
Сдаёт то, что выглядит готовым.
Проверяет по источнику. Ловит выдуманный факт и неверную цифру.
Сверил итог с цифрой финансового отдела.
Исправляют ли они, когда не получается?
«Попробуй ещё раз», «сделай лучше», снова и снова.
Говорит, что не так и почему. Рано меняет подход.
Когда запрос был неверен, сказал, что с ним не так.
Готово ли к отправке то, что они сдают?
Вода, слишком длинно, утверждения, которые никто не проверял.
Готово для читателя. Сказано, что проверено, а что нет. Конфиденциальные данные убраны.
Пять строк, как просили, с указанными допущениями.
Делают ли они работу повторяемой?
Каждый раз переделывает работу вручную.
Сохранённые промпты, скиллы, рабочие процессы и автоматизации. Следующий запуск быстрее и даёт тот же результат.
Сделал следующие два квартала так же, не начиная заново.
Промптинг, итерации, проверка на галлюцинации: у навыков ИИ много названий. Каждый распространённый термин покрыт одним из наших шести навыков. Если в вашей компании есть свой список навыков ИИ, сопоставьте его с нашим по этой таблице.
| Распространённый термин | Оценивается в |
|---|---|
| Решить, с чем может помочь ИИ | Постановка задачи |
| Разбить задачу на шаги | Понимание |
| Промптинг: цель, контекст, ограничения, формат, примеры, критерии готовности | Постановка задачи |
| Итерации | Исправление |
| Проверка, ошибки, галлюцинации и предвзятость | Проверка |
| Безопасность, защита данных, конфиденциальность и соответствие требованиям | Приёмка |
| Повторно используемые промпты, рабочие процессы, скиллы, агенты и автоматизации | Повторяемость |
| Шаблоны и стандарты для команды | Повторяемость |
| Подключение инструментов и данных | Повторяемость и задания с вебом и таблицами |
| Критическое мышление | Все шесть. Это слишком широко, чтобы оценивать отдельно, поэтому мы оцениваем там, где оно проявляется. |
| Измерение ценности ИИ со временем | Не оценивается. Одна работа этого показать не может. |
Хорошо работать с ИИ мало, если работа неверна. В полной оценке Lemonsignal также оценивает два-три навыка для роли по той же работе. Каждый отмечается: ниже планки, на её уровне или выше.
Рабочие навыки для каждой ролиУ каждого задания есть оценочный лист, написанный до того, как его выполнит любой кандидат. По каждому навыку в листе два-три контрольных пункта: конкретные вещи, которые делает хорошая работа, например «итог сверен со вторым источником». Lemonsignal отмечает, какие пункты кандидат выполнил и где. Уровень затем следует из правил ниже, одинаковых для всех кандидатов. Если указать не на что, уровень не ставится.
Каждый навык приносит баллы: Слабо 0, Частично 1, Уверенно 2, Сильно 3. Оценка это набранные баллы из возможных. «Уверенно» по всем шести это 12 из 18, то есть 67%. Навык со статусом «Не проверялось» не входит ни туда, ни туда, поэтому не может снизить оценку.
Оценка показывает общую силу. Рекомендация отвечает на другой вопрос: соответствует ли человек тому, что нужно роли? У каждой роли есть обязательные требования, например Проверка на уровне «Уверенно» или выше для аналитика данных. Не выполнено одно, и результат будет «Ниже планки», даже при высокой оценке. Обязательные требования можно изменить перед отправкой задания. Это рекомендация: решение принимает ваша команда.
Каждый уровень опирается на один из четырёх видов доказательств. Lemonsignal находит нужные моменты, цитирует их и даёт первичную оценку; ваша команда её проверяет. Момент отмечается по реплике в разговоре («Реплика 14» это 14-е сообщение), а не по часам, потому что большинство кандидатов работают в несколько заходов.
| Доказательство | Например | Как идёт оценка |
|---|---|---|
| Известные ошибки ИИ, заложенные в задание | В каждом задании есть место, где ИИ обычно ошибается. Попала ли эта ошибка в сданную работу? | Проверяется автоматически: да или нет. |
| Их разговор с ИИ | Посмотрел данные, прежде чем просить ответ. | Lemonsignal находит момент и даёт первичный уровень. Ваша команда его проверяет. |
| Что они сдали | Пять строк, как просили, с указанными допущениями. | Lemonsignal, по оценочному листу. Ваша команда проверяет. |
| Что они создали | Сохранённый промпт, скилл, скрипт или рабочий процесс. | Lemonsignal, по оценочному листу. Ваша команда проверяет. |
Настоящий оценочный лист для одного задания, аналитика данных. Кандидат получает такой бриф: «Дашборд показывает падение выручки на 12% в марте. Объясните CFO почему, в пяти строках. Затем сделайте Q2 и Q3». В полученных файлах есть всё нужное для проверки ответа. В листе каждая строка это навык. Выполните все контрольные точки в средней колонке для уровня «Уверенно», ещё и правую для «Сильно».
| Навык | Контрольные точки для «Уверенно» | Дополнительная точка для «Сильно» |
|---|---|---|
| Понимание | Посмотрел данные, прежде чем просить ответ. Проверил, как дашборд определяет выручку. | Усомнился в цифре дашборда, прежде чем её объяснять, и сделал это главным вопросом. |
| Постановка задачи | Дал ИИ таблицы и определение. Сказал использовать только эти цифры. | Вывод оставил за собой; запросы делал ИИ. |
| Проверка | Проверил запрос ИИ, прежде чем использовать его цифру. Сверил итог со вторым источником. | Проверил второй месяц, чтобы исключить разовый случай. |
| Исправление | Когда запрос был неверен, сказал, что не так. | Добавил проверку, чтобы это не повторилось. |
| Приёмка | Пять строк, как просили. Ни одного утверждения без источника. Допущения указаны. | Назвал, что ещё не проверено. |
| Повторяемость | Сделал Q2 и Q3 так же, не переделывая вручную. | Сдал созданный промпт, скилл или запрос. |
Результат этого листа для одного кандидата. Каждый уровень ведёт к реплике, откуда он взят.
Что он сдал, в том виде, в каком сдал. Каждая пометка это навык из его результата.
Из-за изменения цен 1 марта.
| Месяц | Выручка (тыс. €) | Изменение |
|---|---|---|
| Январь | 1,212 | |
| Февраль | 1,240 | +2.3% |
| Март | 1,091 | −12.0% |
| Апрель | 1,118 | +2.5% |
| Май | 1,152 | +3.0% |
| Июнь | 1,139 | −1.1% |
| Июль | 1,101 | −3.3% |
| Август | 1,087 | −1.3% |
| Сентябрь | 1,164 | +7.1% |
Lemonsignal даёт первичную оценку каждой сессии. Ваш нанимающий менеджер или рекрутер смотрит сессию, проверяет оценку и может добавить комментарии. Решение за ними. Задания и оценочные листы пишем мы.
Оценочный лист написан до того, как кто-либо приступит к заданию, поэтому ко всем кандидатам одни и те же требования. Каждый уровень ведёт к моменту, на котором основан, так что любую оценку можно проверить самому.
Мы проверяем, что задание выполняет тот, кому вы его отправили. Сданное должно совпадать с разговором с ИИ. А вопрос на собеседовании касается конкретного момента, и за чужую работу ответить на него трудно.
Мы записываем разговор с ИИ-инструментом, сданную работу и всё, что для неё создано. Это видят ваша команда найма и кандидат. Всё хранится в ЕС и обрабатывается согласно GDPR.
Lemonsignal читает весь разговор, отмечает важные моменты и даёт первичную оценку. Каждый уровень ведёт к моменту, откуда он взят. Ваша команда найма смотрит сессию, проверяет оценку, добавляет комментарии и принимает решение.
Результаты одного задания оцениваются по одному листу, поэтому сравнимы. У другого задания или вашего собственного свой лист.
Укажите в брифе, какие инструменты использовать. Если кандидат использует другой, мы можем не суметь прочитать разговор, и зависящие от него навыки получат «Не проверялось», а не снижение оценки.
Дайте настоящее задание с этой работы, разрешите свой ИИ-инструмент и прочитайте разговор после. Затем спросите об одном моменте: почему кандидат поверил цифре или зачем изменил бриф. Когда людей просят описать, как они используют ИИ, видно, как они об этом говорят, а не как делают.
Если на работе они будут использовать ИИ, да. Запрет проверяет способ работы, которым они не будут пользоваться. Разрешать, не читая разговор, это другая ошибка: вы видите готовую работу и не понимаете, кто думал.
Те же шесть. Маркетолог проверяет цифру, выдуманную ИИ; инженер проверяет исправление, которое выглядит верным, но таким не является. От роли к роли меняется задание, а не навыки.
Оценка усредняет шесть навыков. Рекомендация смотрит на то, что роль обязательно требует. Высокая оценка при обязательном навыке ниже планки это не соответствие, и в результате сказано, какой это навык.
Мы используем файлы cookie, чтобы анализировать трафик сайта и улучшать ваш опыт.
Политика конфиденциальностиИспользуем cookie.