실제 엔지니어링 업무로 하는 소프트웨어 엔지니어 AI 역량 테스트.

소프트웨어 엔지니어를 위한 AI 역량 과제 예시

저희 엔지니어링 과제 중 하나입니다. 나머지는 대시보드에 있고, 직접 준비한 과제를 쓸 수도 있습니다.

소프트웨어 엔지니어에게서 살펴보는 AI 역량

• 이해 수정을 요청하기 전에 버그를 재현하고 결제 한 건을 코드에서 끝까지 따라갑니다.
• 지시 AI에게 로그, 관련 파일, 건드리면 안 되는 것을 줍니다.
• 검증 테스트를 돌리고, 입증될 때까지 수정을 받아들이지 않습니다.
• 수정 다시 해 달라고 하지 않고, 수정의 어느 부분이 왜 틀렸는지 말합니다.
• 승인 다른 사람이 리뷰할 수 있는 변경: 작고, 테스트되었고, 테스트하지 않은 것을 밝힙니다.
• 재사용 손으로 다시 하지 않고, 첫 번째 서비스에 만든 것으로 두 번째 서비스를 수정합니다.

엔지니어링 지원자별로 받는 결과

LemonsignalDana Okafor

결과 작업물

Dana Okafor백엔드 엔지니어 · 과제: 이중 청구 수정 · Claude Code · 2시간 40분

Lemonsignal 검증 완료

89%높은 적합도

• AI에게 수정을 맡기기 전에 원인을 찾았습니다.
• AI의 수정을 그대로 믿지 않고 테스트했습니다.
• 첫 번째 서비스에서 만든 것으로 두 번째 서비스도 수정했습니다.

• 이해 우수 AI로 이중 청구를 재현하게 하고, 수정에 앞서 결제 한 건을 코드에서 끝까지 따라갔습니다. 턴 2
• 지시 양호 로그와 관련 파일을 주고, 바꾸면 안 되는 부분을 알려 주었습니다. 턴 4
• 검증 우수 AI의 첫 수정에 테스트를 돌려 보고 거부했습니다. 직접 만든 수정은 테스트로 입증했습니다. 턴 12, 19
• 수정 우수 첫 수정이 왜 틀렸는지, 대신 어디를 봐야 하는지 알려 주었습니다. 턴 13
• 승인 양호 테스트를 갖춘 작은 변경에, 테스트하지 않은 부분을 적은 메모를 덧붙였습니다.
• 재사용 우수 절차를 스킬로 저장하고, 그 스킬로 환불 서비스를 수정했습니다.

직무 역량

• 근본 원인 찾기기준 초과
• 테스트로 수정 입증하기기준 초과
• 다른 사람이 유지보수할 수 있는 코드기준 충족