Той самий тест, що й для інженерів, але без коду. Дайте маркетологу, фінансисту чи рекрутеру реальне завдання з їхньої роботи в ChatGPT або Claude й подивіться, чи помічають вони, коли ШІ помиляється.
Навіщо перевіряти навички ШІ поза розробкою?
Більшість використання ШІ на роботі не стосується коду. У Work Trend Index 2024 від Microsoft і LinkedIn 75% працівників розумової праці сказали, що користуються ШІ на роботі, і 78% з них приносять власні ШІ-інструменти (Microsoft). Тож ваш наступний маркетолог чи фінансист, імовірно, виконуватиме значну частину роботи зі ШІ, незалежно від того, перевіряєте ви це чи ні.
Ризик непомітний
Коли ШІ помиляється в коді, часто щось ламається. Коли він помиляється в бюджеті, підсумку контракту чи листі клієнту, не ламається нічого. Це читається так само добре, і хтось на це спирається.
Навичка та сама
Зрозуміти завдання, поставити його ШІ, перевірити те, що повернулось, виправити й здати правильну роботу. Змінюються лише завдання й інструмент.
Чим тест навичок ШІ відрізняється для нетехнічних ролей
Технічні ролі
Нетехнічні ролі
ШІ-інструмент
Claude Code або Codex, робота в коді
ChatGPT або Claude Cowork, робота з документами, таблицями й вебом
Коли ШІ помиляється
Часто щось ламається: тест падає, код не запускається
Зазвичай нічого не ламається. Вигадане число чи хибне твердження читається так само добре, як правильне
Що означає перевіряти
Запускати тести
Простежувати кожне число й твердження до джерела
Що вони здають
Зміну, яку хтось рецензує
Лист, план чи підсумок, на який хтось спирається, часто без повторної перевірки
Шість навичок
Те саме
Те саме
Чотири правила нетехнічного тесту навичок ШІ
1Беріть завдання з роботи, з реальними файлами.Документи, таблиці, нотатки, правила. Не вікторина про ШІ й нічого, що потребує коду.
2Дозвольте ШІ-інструмент, яким вони вже користуються.ChatGPT, Claude або Claude Cowork. Нав’язаний новий інструмент перевіряє інструмент, а не людину.
3Скажіть, що ШІ очікується.Люди, які не певні, чи можна ШІ, приховують, як вони працюють, або роблять усе вручну.
4Читайте розмову й роботу.Оцінюйте, як вони ставили завдання, перевіряли й виправляли, а не наскільки вишуканий текст.
Тести навичок ШІ для маркетингу, фінансів, продажів, HR та операцій
Lemonsignal має реальне завдання для кожної з цих ролей, яке виконується у власному ШІ-інструменті кандидата, з первинною оцінкою від Lemonsignal, яку перевіряє ваша команда.
Для ролей, на які в нас немає готового завдання, ось ідеї для старту: реальне завдання й тип місця, де ШІ зазвичай помиляється. Використовуйте власні файли.
Роль
Завдання
Де ШІ зазвичай помиляється
Продажі
Підготуватися до дзвінка з конкретним акаунтом на основі його сайту, нотаток минулого дзвінка й історії в CRM.
ШІ заповнює прогалини про акаунт тим, що звучить правильно, але таким не є.
Рекрутинг і HR
Написати вакансію й план скринінгу на основі нотаток менеджера з найму та зарплатної вилки.
Вимога, якої там не має бути, або формулювання від ШІ, яке звужує коло кандидатів.
Підтримка клієнтів
Відповісти на п’ять звернень на основі довідкового центру й правил повернення коштів.
ШІ обіцяє те, чого правила не дозволяють.
Операції
Перетворити заплутаний опис процесу й місяць запитів на чекліст, якого може дотримуватися команда.
Крок, що є лише в одному запиті, або правило, яке ШІ вигадує, щоб заповнити прогалину.
Право й комплаєнс
Підсумувати, що змінюється в новому контракті з постачальником порівняно зі старим.
Бриф: «Звірте рахунки постачальників за минулий квартал (400) із шістьма контрактами й знайдіть, де вам завищують суми». Lemonsignal зчитав шість навичок із розмови кандидата з ChatGPT, і кожен рівень веде до репліки, звідки він узятий.
LemonsignalAlex Morgan
Alex MorganFinance operations analyst · Завдання: знайти завищені рахунки · ChatGPT · 2 год 15 хв
Перевірено Lemonsignal
72%Добра відповідність, одне відкрите питання
Попросили ШІ виписати умови контрактів, перш ніж звіряти рахунки.
Перерахували суму вручну, а не повірили ШІ.
Лишили в підсумку конфіденційні дані.
РозумінняУпевненоПрочитали шість контрактів, перш ніж щось просити.Репліка 2
Постановка завданняСильноПопросили спершу виписати всі цінові умови з контрактів, потім звіряти по одному постачальнику.Репліка 3
ПеревіркаСильноПерерахували двох постачальників вручну за контрактами й виправили суму.Репліки 14, 17
ВиправленняУпевненоСказали, якої умови контракту бракує в сумі.Репліка 15
ПрийманняЧастковоЗрозумілий підсумок для CFO, у якому лишилися банківські реквізити постачальників.
ПовторюваністьУпевненоПеревірили рахунки цього кварталу тим самим промптом.
Навички для цієї роботи
Читання умов контрактівВище планки
Точна звіркаНа рівні планки
Робота з конфіденційними данимиНижче планки
Що вони здали, у тому вигляді, в якому здали. Кожна позначка відповідає навичці з їхнього результату.
ПрийманняЧастково
Для CFOМинулого кварталу нам завищили рахунки на 48 210 €
Не збігаються з контрактом рахунків: 23 із 400.
Три постачальники дають 45 300 € цієї суми: Nordfrakt, Brekke Pack і Solvik IT.
Пропоную попросити в кожного кредит-ноту. Список рахунків за постачальниками додаю.
Рахунки цього кварталу пройдуть таку саму перевірку перед оплатою.
Питання про оцінювання навичок ШІ для нетехнічних ролей
Чи можна перевірити навички ШІ в нетехнічних ролях?
Так. Дайте кандидату реальне завдання з роботи, наприклад спланувати бюджет, звірити рахунки чи відповісти на звернення, у ChatGPT або Claude. Потім прочитайте його розмову зі ШІ й те, що він здає. Шість навичок ті самі, що й для інженерів, змінюється завдання.
Чи потрібні кандидатам технічні навички для оцінювання навичок ШІ?
Ні. Для нетехнічних ролей завдання це документи, таблиці й веб, у чат-інструменті на кшталт ChatGPT або Claude Cowork. Код не потрібен.
Які навички ШІ найважливіші для нетехнічних ролей?
Передусім перевірка. У нетехнічній роботі нічого не ламається, коли ШІ помиляється: вигадане число читається так само добре, як правильне. Далі приймання: на те, що вони надсилають, часто спираються без жодної повторної перевірки.
Чи достатньо вікторини на ШІ-грамотність для нетехнічних працівників?
Для навчання це може бути початком. Для найму вона каже, що людина знає про ШІ, а не чи помітить вона його помилку в реальній роботі.
Чи впливають якість тексту чи рівень англійської на оцінку?
Не мають, і в Lemonsignal ніколи не впливають. Вишуканий текст легко отримати від ШІ. Важливо, чи правильне те, що вони здають, і чи готове воно для читача.
Для яких ролей Lemonsignal має готові завдання?
Маркетинг, фінанси, продукт, дизайн і дані, а також розробка. Для інших ролей принесіть реальну роботу, і ми разом перетворимо її на завдання.
