Codility는 자체 VS Code 환경에서 엔지니어를 테스트하고, 비즈니스 직무는 내장 AI Assistant로 수행하는 짧은 과제로 테스트하며, 언제나 같은 방식으로 채점합니다. Lemonsignal은 지원자가 이미 쓰는 AI 도구로 실제 과제를 수행하게 하고, 작업 방식을 기록하며, 귀사 팀이 확인할 1차 판단을 제공합니다.
Codility에서 지원자가 AI를 쓸 수 있습니까?
CodilityCodility AI for Business 과제: 과제 설명, 내장 AI Assistant, 답변 상자. 이미지 출처: codility.com/assess-ai-skills-beyond-engineering, 2026년 10월 28일.
Lemonsignal지원자는 과제 설명, 남은 시간, 녹화 중 표시와 함께 이곳 Claude Code에서 작업합니다. 대신 Codex, Claude Cowork, ChatGPT를 브라우저나 본인 컴퓨터에서 사용할 수도 있습니다.
Codility vs Lemonsignal: 나란히 비교
Codility 공식 사이트의 내용(2026년 10월 28일 확인)을 Lemonsignal과 나란히 보여 드립니다.
지원자가 하는 일
터미널과 여러 파일 프로젝트를 갖춘 VS Code 환경의 엔지니어링 스크리닝과 구조화 면접. AI for Business: 리포트나 고객 브리프 같은 결과물로 끝나는 약 20~60분짜리 과제로, 한 평가에 여러 과제를 묶을 수 있습니다
버그 수정이나 캠페인 기획처럼 실제 업무에서 가져온 과제
사용하는 AI 도구
과제 설명 옆의 내장 AI Assistant. 라이브 면접에서는 면접관이 지원자가 쓸 AI 모델을 선택합니다. AI를 끌 수도 있습니다. 지원자가 자기 도구를 쓸 수 있는지는 나와 있지 않습니다
지원자 본인의 도구: Claude Code, Codex, Claude Cowork 또는 ChatGPT를 본인 컴퓨터나 브라우저에서 사용
채점 주체
비즈니스 결과물은 “deterministically against an expert-defined answer space” 채점되며 채점에 생성형 AI를 쓰지 않습니다. 코드는 품질과 복잡도를 자동 분석합니다. 지원자의 AI 사용 방식에 대한 점수는 사이트에 설명되어 있지 않습니다
누구도 과제를 시작하기 전에 작성된 채점표를 기준으로 Lemonsignal이 1차 판단을 제공합니다. 귀사 팀이 세션을 보고 판단을 확인한 뒤 결정합니다
직무
엔지니어링과 여덟 가지 비즈니스 직군: 고객 지원, 고객 성공, 영업, 프로덕트 관리, 프로덕트 마케팅, 마케팅, 데이터 분석, 재무
엔지니어링, 프로덕트, 디자인, 마케팅, 데이터, 재무
부정행위 확인
신원 확인, 대리 응시 감지, 감독. 무결성 신호를 검토자에게 위험 수준으로 제공합니다
과제를 수행하는 사람이 과제를 받은 본인인지, 결과물이 대화 내용과 일치하는지 확인합니다
받게 되는 결과
지원자별 결과물, 점수, 무결성 신호, AI Assistant 대화 전체 기록과 엔지니어링 팀 전체의 역량 데이터
추천 의견, AI 역량 여섯 가지, 직무 역량 두세 가지. 각 항목은 근거가 된 대화 속 순간으로 연결됩니다
Codility vs Lemonsignal: 채용팀이 받는 것
CodilityCodility Screen Report: 소요 시간, 총점, 신원, 기기, 네트워크 점검. 이미지 출처: codility.com/assess-ai-skills-beyond-engineering, 2026년 10월 28일.
Lemonsignal. Claude Code로 실제 버그를 수정한 엔지니어의 결과입니다. 모든 점수는 근거가 된 대화 속 순간으로 연결됩니다.
LemonsignalDana Okafor
Dana Okafor백엔드 엔지니어 · 과제: 이중 청구 수정 · Claude Code · 2시간 40분
Lemonsignal 검증 완료
89%높은 적합도
AI에게 수정을 맡기기 전에 원인을 찾았습니다.
AI의 수정을 그대로 믿지 않고 테스트했습니다.
첫 번째 서비스에서 만든 것으로 두 번째 서비스도 수정했습니다.
이해우수AI로 이중 청구를 재현하게 하고, 수정에 앞서 결제 한 건을 코드에서 끝까지 따라갔습니다.턴 2
지시양호로그와 관련 파일을 주고, 바꾸면 안 되는 부분을 알려 주었습니다.턴 4
검증우수AI의 첫 수정에 테스트를 돌려 보고 거부했습니다. 직접 만든 수정은 테스트로 입증했습니다.턴 12, 19
수정우수첫 수정이 왜 틀렸는지, 대신 어디를 봐야 하는지 알려 주었습니다.턴 13
승인양호테스트를 갖춘 작은 변경에, 테스트하지 않은 부분을 적은 메모를 덧붙였습니다.
재사용우수절차를 스킬로 저장하고, 그 스킬로 환불 서비스를 수정했습니다.
직무 역량
근본 원인 찾기기준 초과
테스트로 수정 입증하기기준 초과
다른 사람이 유지보수할 수 있는 코드기준 충족
제출한 그대로의 작업물입니다. 각 표시는 결과에 나온 역량을 가리킵니다.
이해우수승인양호
변경 메모게이트웨이가 재시도해도 주문당 한 번만 청구
원인: 게이트웨이 시간 초과 후 재시도가 두 번째 청구를 만들었습니다.
수정: 청구마다 주문에 해당하는 키를 붙여, 재시도하면 새 청구를 만들지 않고 첫 청구를 돌려줍니다.
테스트: 시간 초과 후 재시도해도 이제 한 번만 청구됩니다. 테스트 48개 모두 통과했습니다.
테스트하지 않은 부분: 아직 사용하지 않는 부분 매입.
검증우수재사용우수
payments/charge.py수정 내용
def create_charge(order, card):
- return gateway.charge(order.total, card)
+ key = f"order-{order.id}"
+ return gateway.charge(order.total, card,
+ idempotency_key=key)
tests/test_charge.py수정 전 실패, 수정 후 통과
+def test_retry_charges_once(gw, order, card):
+ gw.fail_next_with(Timeout)
+ create_charge(order, card)
+ create_charge(order, card) # the retry
+ assert gw.charges_for(order) == 1
refunds/refund.py환불 서비스에 적용한 같은 수정
def create_refund(charge, amount):
- return gateway.refund(charge.id, amount)
+ key = f"refund-{charge.id}"
+ return gateway.refund(charge.id, amount,
+ idempotency_key=key)
Codility와 Lemonsignal 중 무엇을 선택해야 합니까?
이런 경우 Codility 선택
엔지니어와 비즈니스 직무를 대규모로 채용하고, 언제나 같은 방식으로 채점되는 짧은 과제를 원하는 경우.
스크리닝, 면접, 엔지니어링 팀 역량 파악을 한 플랫폼에서 하고 싶은 경우.
SOC 2, ISO 27001, WCAG 2.2 AA처럼 사이트에 나온 점검이 필요한 경우.
둘 다 비즈니스 직무에 AI로 수행하는 과제를 줍니다. Codility에서는 지원자가 내장 AI Assistant를 20~60분간 쓰고, 결과물은 답변 공간을 기준으로 채점됩니다. Lemonsignal에서는 더 긴 과제 하나에 본인의 AI 도구를 씁니다. Lemonsignal은 작업 방식을 기록하고 1차 판단을 제공합니다. 귀사 팀이 세션을 보고 결정합니다.
