30 вопросов для собеседования, чтобы оценить навыки ИИ кандидата.

Насколько хорошо они работают с самим ИИ. Одинаково для всех ролей.

✓На что обратить внимание ✕Чего остерегаться

1. 1

   Когда ИИ в последний раз ошибся в вашей работе? Как вы это заметили?

   ✓Конкретный момент и проверка, которая его поймала.

   ✕«Обычно он прав».

2. 2

   Покажите экран и промпт, который вы использовали на этой неделе. Почему вы написали его так?

   ✓Контекст, ограничения, пример и критерии готовности.

   ✕Одна строка и надежда.

3. 3

   Когда вы решаете не использовать ИИ?

   ✓Чёткие границы: чувствительные данные, решения, то, что быстрее вручную.

   ✕«Никогда» или «всегда».

4. 4

   Что вы проверяете, прежде чем работа, сделанная с ИИ, уйдёт другому человеку?

   ✓Конкретные проверки: источники, запущенные тесты, выборочная сверка цифр.

   ✕«Я просматриваю».

5. 5

   Какие ИИ-инструменты вы используете для каких задач и почему?

   ✓Чат, агенты и ИИ внутри других инструментов, с причиной для каждого.

   ✕Один инструмент на всё, без причины.

6. 6

   Расскажите о задаче, которую вы разбили на шаги для ИИ, а не попросили сразу.

   ✓Делит работу и проверяет каждый шаг, прежде чем идти дальше.

   ✕Всё в одном гигантском промпте.

7. 7

   Как должен выглядеть ответ ИИ, чтобы вы ему поверили?

   ✓Его можно проверить, и он совпадает с тем, что уже известно.

   ✕Верит, когда звучит уверенно.

8. 8

   Что вы создали для повторного использования: шаблоны, свои инструкции, рабочий процесс, агента?

   ✓То, что экономит время каждую неделю.

   ✕Каждый раз начинает с нуля.

9. 9

   Что вы пытались сделать с ИИ, но не получилось? Что вы сделали вместо этого?

   ✓Честно о границах и смена подхода.

   ✕Не может назвать ни одного.

10. 10

    Как ваша работа изменилась за последний год из-за ИИ?

    ✓Больше времени на решения, меньше на первые черновики.

    ✕«Я просто быстрее».

Могут ли они отличить настоящее исправление от того, что только выглядит верным?

✓На что обратить внимание ✕Чего остерегаться

1. 11

   Исправление от ИИ делает падающий тест зелёным. Что вы проверите перед слиянием?

   ✓Исправлена ли причина или только скрыт симптом. Пограничные случаи. Читает весь дифф.

   ✕«Тест проходит, значит, исправлено».

2. 12

   Как вы проверяете pull request от ИИ на 400 строк?

   ✓Проверяет как чужой код, просит разбить на части, запускает.

   ✕Просматривает и одобряет.

3. 13

   Когда вы даёте агенту работать самому, а когда идёте пошагово?

   ✓Зависит от риска и обратимости. Тесты как ограждение.

   ✕Всегда даёт работать или никогда.

4. 14

   Как вы даёте агенту контекст о незнакомой кодовой базе?

   ✓Указывает на файлы, соглашения и примеры. Ведёт файл инструкций проекта.

   ✕«Сам разберётся».

5. 15

   Расскажите о баге от ИИ, который вы поймали поздно. Что поймало бы его раньше?

   ✓Называет пробел и что изменил после этого.

   ✕Не может вспомнить ни одного.

Могут ли они принять решение, которое ИИ за них не примет?

✓На что обратить внимание ✕Чего остерегаться

1. 16

   У вас 15 интервью с пользователями. Как вы используете ИИ, чтобы выделить темы, и откуда вы знаете, что это верно?

   ✓Часть читает сам, прослеживает каждую тему до цитат, следит за редкими, но важными сигналами.

   ✕Использует сводку как есть.

2. 17

   ИИ даёт вам роадмап, который всех устраивает. Что с ним не так?

   ✓В нём нет компромиссов. План, который никому не говорит нет, это не план.

   ✕«Ничего, выглядит хорошо».

3. 18

   Какие части спецификации вы даёте писать ИИ, а какие пишете сами?

   ✓Проблему и «зачем» пишет сам. ИИ для структуры и пограничных случаев.

   ✕Даёт ИИ написать всё.

4. 19

   Как бы вы проверили идею с ИИ до того, как разработка что-либо создаст?

   ✓Быстрый прототип или макет перед пользователями.

   ✕Ждёт разработку.

5. 20

   Заинтересованное лицо присылает анализ от ИИ, подтверждающий его функцию. Что вы сделаете?

   ✓Проверяет исходные данные и метод, прежде чем вывод.

   ✕Судит по тому, кто прислал.

Знают ли они, какие утверждения, аудитории и каналы настоящие?

✓На что обратить внимание ✕Чего остерегаться

1. 21

   В черновике поста о запуске от ИИ отличная статистика. Что вы сделаете перед публикацией?

   ✓Находит источник или убирает цифру.

   ✕Оставляет, потому что звучит правильно.

2. 22

   Как сделать, чтобы текст от ИИ не звучал как у всех?

   ✓Язык клиентов, свои примеры, ясная точка зрения.

   ✕Считает, что не делает.

3. 23

   Как вы используете ИИ для исследования конкурентов или клиентов и где он вводит в заблуждение?

   ✓Знает, что он заполняет пробелы уверенными догадками, и проверяет настоящие источники.

   ✕Считает это фактом.

4. 24

   Расскажите, как вы планируете кампанию с ИИ. Где вступают ваши собственные решения?

   ✓Сам выбирает аудиторию, канал и бюджет, и есть план Б.

   ✕Даёт ИИ выбрать канал.

5. 25

   У вас 20 рекламных вариантов от ИИ. Как проверить их, не тратя бюджет впустую?

   ✓Сначала сужает, тестирует несколько, заранее решает, что считать успехом.

   ✕Запускает все 20 сразу.

Знают ли они, когда аккуратная цифра неверна?

✓На что обратить внимание ✕Чего остерегаться

1. 26

   ИИ пишет запрос, который возвращает аккуратную цифру. Откуда вы знаете, что она верна?

   ✓Проверяет число строк, соединения, дублирующие строки, и известные итоги.

   ✕«Цифра выглядит разумно».

2. 27

   Когда вы не дадите ИИ выбирать метод анализа?

   ✓Когда метод определяет ответ или в данных есть особенности, о которых ИИ не может знать.

   ✕Никогда об этом не задумывается.

3. 28

   CFO спрашивает «откуда вы знаете?» о выводе, сделанном с ИИ. Что вы скажете?

   ✓Объясняет метод и проверки, не прячась за ИИ.

   ✕«Это посчитал ИИ».

4. 29

   Как вы даёте ИИ контекст модели данных и определений метрик?

   ✓Даёт определения и схемы плюс примеры верного результата.

   ✕Вставляет сырую таблицу и спрашивает.

5. 30

   Расскажите о цифре, которая выглядела верной, но такой не была.

   ✓Конкретная история и проверка, которую теперь делает всегда.

   ✕Не может назвать ни одного.