AI 역량 채점 방식: 방법, 수준, 증거.

1. AI 역량 루브릭: 여섯 가지 역량

직무의 실제 과제 하나에서 읽어 냅니다. 역량별로 답하는 질문, 미흡한 작업과 우수한 작업의 모습, 세션에서 가리킬 수 있는 실제 예시를 적었습니다.

일반적인 AI 역량 용어와 여섯 가지의 대응

프롬프트 작성, 반복 개선, 환각 확인. AI 역량은 이름이 많습니다. 일반적인 용어는 저희 여섯 가지 역량 중 하나에 해당합니다. 귀사에 자체 AI 역량 목록이 있다면 이 표로 대응시키십시오.

AI 역량 수준을 부여하는 방식

모든 과제에는 지원자가 응시하기 전에 작성된 채점표가 있습니다. 채점표에는 역량별로 “합계를 다른 출처와 대조함”처럼 좋은 작업이 하는 구체적인 일을 체크포인트로 두세 개 적습니다. Lemonsignal은 지원자가 어떤 체크포인트를 어디서 충족했는지 표시합니다. 수준은 아래 규칙에 따라 모든 지원자에게 똑같이 정해집니다. 가리킬 순간이 없으면 수준을 부여하지 않습니다.

1. 미흡 역량이 필요한 순간에 반대로 행동했고, 끝내 바로잡지 못했습니다. 예: AI의 숫자를 확인 없이 썼고 틀린 숫자가 최종 작업물에 들어갔습니다.
2. 부분적 체크포인트의 일부만 충족했거나, 과제 후반에야 충족했습니다.
3. 양호 해당 역량의 모든 체크포인트를 충족했습니다.
4. 우수 모든 체크포인트를 충족하고, 최고의 작업에서만 보이는 추가 항목까지 충족했습니다.
5. 평가 안 됨 과제에서 역량을 보여 줄 분명한 기회가 없었거나, 증거가 엇갈립니다. 점수에서 제외되므로 불리하게 작용하지 않습니다.

증거의 출처

모든 수준은 네 가지 증거 중 하나에 근거합니다. Lemonsignal이 관련 순간을 찾아 인용하고 1차 판단을 제공하면 귀사 팀이 확인합니다. 순간은 시계가 아니라 대화 속 턴으로 표시합니다(“턴 14”은 14번째 메시지). 대부분의 지원자가 여러 번에 나눠 작업하기 때문입니다.

예시: 지원자 한 명의 AI 역량 채점

데이터 분석가 과제의 실제 채점표입니다. 지원자는 다음 과제 설명을 받습니다. “대시보드에 3월 매출이 12% 감소한 것으로 나옵니다. CFO에게 이유를 다섯 줄로 설명하세요. 그다음 Q2과 Q3도 처리하세요.” 받은 파일에는 답을 확인하는 데 필요한 것이 모두 있습니다. 채점표에서 각 행은 역량입니다. 가운데 열의 체크포인트를 모두 충족하면 양호, 오른쪽까지 충족하면 우수입니다.

이 채점표로 지원자 한 명에게 나온 결과입니다. 각 수준은 근거가 된 턴으로 연결됩니다.

LemonsignalAnton Lindqvist

결과 작업물

Anton Lindqvist데이터 분석가 · 과제: 매출 감소 설명 · Claude Code · 1시간 50분

Lemonsignal 검증 완료

44%기준 미달

• AI의 첫 쿼리를 확인 없이 그대로 받아들였습니다.
• 확인하지 않은 숫자를 CFO에게 보냈습니다.
• Q2과 Q3을 빠르고 똑같이 처리하는 스크립트를 만들었습니다.

• 이해 부분적 여기서 “매출”이 무엇을 뜻하는지 물었지만, 첫 답변을 받은 뒤였습니다. 턴 9
• 지시 부분적 테이블은 주었지만 정의는 주지 않았습니다. 턴 1
• 검증 미흡 첫 쿼리를 그대로 받아들였고, 합계를 다른 출처와 대조하지 않았습니다. 턴 4
• 수정 양호 쿼리가 실패했을 때 어떤 조인이 틀렸는지 말했습니다. 턴 6
• 승인 부분적 요청대로 다섯 줄이었지만, 확인하지 않은 숫자에 기반했습니다.
• 재사용 우수 쿼리를 스크립트로 저장해 Q2과 Q3을 돌렸습니다.

직무 역량

• 지표 정의기준 미달
• 분석의 엄밀성기준 미달
• 비기술 인력에게 설명하기기준 충족

받게 되는 결과

• 점수, 추천 의견, 이유.점수는 백분율입니다. 추천 의견은 높은 적합도, 좋은 적합도와 미해결 질문 하나, 기준 미달, 증거 부족 중 하나입니다. 이유 두 가지에서 네 가지가 이를 설명하며, 각각 근거가 된 순간으로 연결됩니다.
• 여섯 가지 AI 역량별 수준.각 수준은 증거로 연결됩니다. 대화의 메시지, 작업물의 줄, 직접 만든 파일입니다.
• 직무 역량.전체 평가에서: 직무 역량 두세 가지, 각각 기준 미달, 충족, 초과.
• 보완할 점.가장 개선할 가치가 있는 역량 하나와, 작은 공백인지 배울 점이 많은지. 추천 의견에 미해결 질문이 있다면 그것입니다.
• 면접용 질문.작업의 특정 순간에 관한 질문으로, 지원자와 함께 이야기할 수 있습니다.

절대 채점하지 않는 것

• 프롬프트의 길이나 개수. 올바른 맥락이 있는 짧은 프롬프트가 맥락 없는 긴 프롬프트보다 낫습니다.
• 속도. 걸린 시간은 사실로 보여 드립니다. 점수를 바꾸지는 않습니다.
• 선택한 AI 도구. 네 도구 모두 작업을 해낼 수 있습니다. 중요한 것은 아는 도구를 어떻게 쓰느냐입니다.
• 세련된 글이나 완벽한 영어. 문체가 아니라 작업이 맞고 읽는 사람에게 바로 쓸 수 있는지를 채점합니다.

공정성 유지