지원자의 AI 역량 테스트 방법.
실제 업무에서 가져온 과제를 주고 본인의 AI 도구를 쓰게 하십시오. 그다음 AI와의 대화를 읽으십시오. AI를 잘 쓰는 사람은 가장 많이 쓰는 사람이 아니라 AI가 틀렸을 때 알아채는 사람입니다.
AI 역량이 뛰어난 지원자의 모습
Microsoft와 LinkedIn의 2024년 Work Trend Index(31,000명 설문)에서 리더의 3분의 2(66%)가 AI 역량 없는 사람은 채용하지 않겠다고 답했습니다(Microsoft). 그러나 그 역량이 무엇인지 말하는 사람은 드뭅니다. 실제로 AI를 잘 쓰는 사람은 AI를 빠르고 자신만만한 후배 동료처럼 관리합니다. 무엇을 맡길지 정하고, 지시하고, 돌아온 것을 확인합니다.
AI 역량이 뛰어난 지원자의 신호
- 이해 자료부터 읽습니다. 문제를 나눕니다. 지시가 잘못되었으면 알아챕니다.
- 지시 맥락, 제약, 예시, 완료 기준을 줍니다. 판단이 필요한 부분은 직접 합니다.
- 검증 원본과 대조합니다. 지어낸 사실과 틀린 숫자를 잡아냅니다.
- 수정 무엇이 왜 틀렸는지 말합니다. 일찍 접근 방식을 바꿉니다.
- 승인 읽는 사람이 바로 볼 수 있습니다. 확인한 것과 하지 않은 것을 밝힙니다. 기밀 데이터를 넣지 않습니다.
- 재사용 프롬프트, 스킬, 워크플로, 자동화를 저장합니다. 다음 실행은 더 빠르고 결과가 같습니다.
AI 역량과 무관한 것
- 프롬프트의 개수나 길이
- 끝내는 속도
- 사용하는 AI 도구, 또는 말할 수 있는 도구의 수
- 자격증이나 강좌
- 세련된 글이나 완벽한 영어
지원자의 AI 역량을 알려 주지 않는 것
AI 역량을 빠르게 확인하는 방법은 대부분 비슷한 다른 것을 측정합니다. 사용 여부, 지식, 결과입니다.
| 방식 | 알 수 있는 것 | 부족한 이유 |
|---|---|---|
| “AI를 쓰시나요?”라고 묻기 | 모두 그렇다고 답합니다. | 쓴다는 것만 알려 줄 뿐, AI가 준 결과를 확인하는지는 알려 주지 않습니다. |
| AI 퀴즈 | AI에 관해 아는 것. | AI가 지어낸다는 것을 아는 것과 실제로 그럴 때 잡아내는 것은 다릅니다. |
| 자격증이나 강좌 | 강좌를 들었다는 것. | 대부분의 강좌는 업무가 아니라 정답이 있는 질문으로 지식을 테스트합니다. |
| 완성된 작업물만 | 제출한 것. | AI를 쓰면 대부분의 결과물이 좋아 보입니다. 누가 생각했는지 볼 수 없습니다. |
| AI를 금지한 테스트 | AI 없이 일하는 방식. | 실제 업무에서 일할 방식이 아니며, 금지를 단속하기도 어렵습니다. |
채용 단계별 AI 역량 평가 방법
모든 단계에 테스트가 필요하지는 않습니다. 초기의 더 나은 질문, 실제 과제, 마지막의 후속 질문 하나면 대부분 해결됩니다.
- 1지원서에서“AI를 쓰시나요?” 대신 구체적인 질문 하나를 하십시오. “AI가 틀린 결과를 줬던 때를 말씀해 주십시오. 어떻게 알아채셨습니까?” 진짜 답에는 세부 내용이 있습니다.
- 2첫 통화에서AI로 한 최근 작업을 설명해 달라고 하십시오. 무엇을 주었고, 무엇이 돌아왔고, 무엇을 바꿨는지입니다. 도구가 아니라 확인 여부를 들으십시오.
- 3과제에서AI 사용을 전제로, 본인의 AI 도구로 수행할 실제 업무 과제를 주십시오. AI가 자주 틀리는 지점을 하나 넣으십시오. 결과만이 아니라 AI와의 대화도 받으십시오.
- 4최종 면접에서AI와의 대화에서 한 순간을 골라 물어보십시오. 왜 그 숫자를 믿었는지, 왜 지시를 다시 썼는지. 직접 하지 않은 일은 답하기 어렵습니다.
첫 통화를 위한 AI 역량 질문
- 1AI가 틀린 결과를 줬던 최근 사례를 말씀해 주십시오. 어떻게 알아채셨습니까?
- 2이런 과제를 시작하기 전에 AI에게 무엇을 알려 주십니까?
- 3AI에게 절대 결정을 맡기지 않는 것은 무엇입니까?
- 4AI를 활용한 최근 작업을 보내기 전에 무엇을 확인하셨습니까?
AI가 자주 틀리는 지점을 하나 넣으십시오
깔끔한 과제에서는 거의 모두의 AI가 잘 해내고, 알 수 있는 것이 적습니다. 실제 업무에는 AI가 틀리는 지점이 있습니다. 하나를 넣으면 누가 확인하는지 보입니다. 대부분의 직무에 통하는 다섯 가지입니다.
| 유형 | 보여 주는 것 |
|---|---|
| 출처와 맞아야 하는 숫자 | AI의 합계가 맞아 보이지만 틀렸습니다. 누가 파일과 대조합니까? |
| 답을 바꾸는 정의 | “매출”이나 “활성 사용자” 같은 단어가 여기서는 특정한 뜻입니다. AI가 추측하기 전에 누가 묻습니까? |
| 긴 문서에 묻힌 세부 내용 | 계약서나 녹취록의 한 줄이 결과를 바꿉니다. 누가 읽고, 누가 AI에게 훑게 합니까? |
| AI의 주장과 다른 내용의 출처 | AI가 페이지나 연구를 인용합니다. 누가 열어 봅니까? |
| 밖으로 나가면 안 되는 것 | 계좌 정보, 급여, 고객 이름. 넘기기 전에 누가 뺍니까? |
결과만이 아니라 AI와의 대화를 읽으십시오
완성된 작업물은 무엇을 제출했는지 보여 줍니다. 대화는 어떻게 거기에 도달했는지 보여 줍니다. 대화에서 답해야 할 여섯 가지 질문이며, 모든 직무에 같습니다.
| 역량 | 질문 | 미흡한 모습 |
|---|---|---|
| 이해 | AI에게 맡기기 전에 과제를 이해하는가? | 답부터 달라고 합니다. 받은 지시를 그대로 받아들입니다. |
| 지시 | AI에게 필요한 것을 주는가? | 전부 붙여 넣고 “이거 해 줘”라고 합니다. |
| 검증 | AI가 틀렸을 때 잡아내는가? | 완성돼 보이면 그대로 냅니다. |
| 수정 | 잘 안 될 때 바로잡는가? | “다시 해 줘”, “더 잘 해 줘”를 반복합니다. |
| 승인 | 넘기는 결과물이 바로 보낼 수 있는 상태인가? | 군더더기, 지나친 분량, 아무도 확인하지 않은 주장. |
| 재사용 | 반복 가능하게 만드는가? | 매번 손으로 다시 합니다. |
Lemonsignal에서 지원자는 Claude Code, Codex, Claude Cowork 또는 ChatGPT로 과제를 수행하고, 귀사는 대화 전체를 세션 다시 보기로 받습니다. 여섯 가지 역량의 점수가 함께 제공되며, 모든 점수는 근거가 된 순간으로 연결됩니다.
AI 역량 테스트에 관한 질문
지원자가 AI를 잘 쓰는지 어떻게 테스트합니까?
실제 업무에서 가져온 과제를 주고, 이미 쓰는 AI 도구를 쓰게 하고, AI 사용을 전제한다고 밝히십시오. AI가 자주 틀리는 지점을 하나 넣으십시오. 그다음 제출물만이 아니라 AI와의 대화를 읽고, 면접에서 그중 한 순간을 물으십시오.
지원자에게 “AI를 잘 쓴다”는 것은 무슨 뜻입니까?
AI로 훌륭하고 정확한 결과를 낸다는 뜻입니다. AI에게 맡기기 전에 과제를 이해하고, 필요한 것을 주고, 틀렸을 때 잡아내고, 바로잡고, 바로 보낼 수 있는 결과물을 넘깁니다. AI를 많이 쓰거나 빨리 쓰는 것과는 다릅니다.
이력서로 AI를 잘 쓰는지 알 수 있습니까?
믿을 만하게 알 수는 없습니다. 이력서에는 도구와 강좌를 적을 수 있지만, AI가 준 결과를 확인하는지는 나오지 않습니다. 지원서에서 구체적인 질문을 하나 하고, 과제로 테스트하십시오.
어떤 질문이 지원자가 AI를 잘 쓰는지 보여 줍니까?
특정 순간에 관한 질문입니다. AI가 틀렸을 때 어떻게 알아챘는지, 시작 전에 무엇을 알려 줬는지, 보내기 전에 무엇을 확인했는지. 모호한 답이 바로 신호입니다.
테스트에서 AI 사용을 허용해야 합니까?
업무에서 AI를 쓴다면 그렇습니다. AI를 금지한 테스트는 AI 없이 일하는 방식을 측정하며, 이는 채용 후 일할 방식이 아닙니다.
AI 역량 테스트는 얼마나 걸려야 합니까?
실제 업무에 가까운 과제에 지원자의 한 시간에서 세 시간, 며칠의 마감입니다. 더 짧은 테스트는 1차 스크리닝에는 통하지만, 작업을 확인하고 바로잡는 방식은 덜 보여 줍니다.