ユースケース · エンジニアリング エンジニア向けのAIスキルテスト。実際の開発業務で。
優れたエンジニアは、AIを使っても仕事の責任を持ちます。AIにコードを書かせる前に原因を見つけ、変更が機能することをテストで証明します。
候補者3人まで無料でお試しいただけます。
ソフトウェアエンジニア向けAIスキルテストの対象
- ソフトウェアエンジニア
- バックエンドエンジニア
- フルスタックエンジニア
- プロダクトエンジニア
API、決済、連携など、ソフトウェアプロダクトの裏側のサービスを作り、保守する人。機能を作り、自分が書いていないコードのバグを修正し、他の人がレビューできる変更を出します。
レベルジュニアからスタッフまで
フロントエンド、モバイル、プラットフォームエンジニアを採用しますか？独自のタスクを持ち込む
ソフトウェアエンジニア向けのAIスキルタスクの例
エンジニアリング分野のタスクの1つです。残りはダッシュボードにあり、独自のタスクも持ち込めます。
Lemonsignalあなたのタスク録画中期限10月24日（金） タスクの説明 二重請求の修正
顧客に二重請求が発生しています。決済サービスで原因を見つけ、他を壊さずに修正してください。
次に、返金サービスの同じ問題を修正してください。
ファイル - 決済サービスのコード
- 二重請求3件のログ
- 再試行の設定
時間 作業する場所 
Claude Code
Codex
自分のパソコンで始めるブラウザで始める
- AIが間違える箇所どのタスクにも、AIが間違いやすい箇所がいくつかあります。そこで誰が成果物を確認しているかがわかります。
- 繰り返される部分決済サービスの後、返金サービスの同じバグを修正します。最初に作ったものを再利用するか、手作業でやり直すかがわかります。
- 時間期限、制限時間、またはその両方を設定できます。実際の業務と同じように働いてもらえるよう、期限を設け、制限時間は設けないことをおすすめします。
- 作業する場所Claude CodeまたはCodexを、自分のパソコンまたはブラウザで。
- すべてのタスク
ソフトウェアエンジニアで見るAIスキル
- 理解する 修正を頼む前にバグを再現し、1件の決済をコード上で追います。
- 指示する ログ、重要なファイル、触れてはいけない箇所をAIに伝えます。
- 確認する テストを実行し、証明されるまで修正を受け入れません。
- 修正する やり直しを頼むのではなく、修正のどこがなぜ間違っているのかを伝えます。
- 承認する 他の人がレビューできる変更：小さく、テスト済みで、テストしていない点が明確です。
- 再利用する 2つ目のサービスも、手作業ではなく最初に作ったもので修正します。
職務スキルも 同じタスクから読み取ります。
- 根本原因の特定
- テストによる修正の証明
- 他の人が保守できるコード
エンジニアリング職の候補者ごとに受け取れるもの
LemonsignalDana Okafor
89%高い適合
- AIに修正を書かせる前に原因を突き止めました。
- AIの修正をうのみにせず、テストしました。
- 最初のサービス用に作ったもので、2つ目のサービスも修正しました。
- 理解する 優秀 AIに二重請求を再現させ、修正に入る前に1件の決済をコード上で追いました。 ターン2
- 指示する 十分 ログと重要なファイルを渡し、変更してはいけない箇所を伝えました。 ターン4
- 確認する 優秀 AIの最初の修正にテストを実行して却下しました。自分の修正はテストで証明しました。 ターン12、19
- 修正する 優秀 最初の修正がなぜ間違いなのか、どこを見るべきかをAIに伝えました。 ターン13
- 承認する 十分 小さな変更とそのテスト、テストしていない点のメモを提出しました。
- 再利用する 優秀 手順をskillとして保存し、それを使って返金サービスを修正しました。
職務に必要なスキル - 根本原因の特定基準以上
- テストによる修正の証明基準以上
- 他の人が保守できるコード基準どおり
提出されたままの成果物です。各マークは結果に示されたスキルに対応しています。
理解する優秀承認する十分 変更メモ ゲートウェイが再試行しても、注文ごとの請求は1回に - 原因：ゲートウェイのタイムアウト後、再試行で2回目の請求が発生していました。
- 修正：各請求に注文ごとのキーを持たせ、再試行時は新しい請求を作らず最初の請求を返します。
- テスト：タイムアウト後の再試行でも請求は1回になりました。48件のテストがすべて成功しています。
- 未テスト：一部請求（現在は未使用）。
確認する優秀再利用する優秀 payments/charge.py修正
def create_charge(order, card):
- return gateway.charge(order.total, card)
+ key = f"order-{order.id}"
+ return gateway.charge(order.total, card,
+ idempotency_key=key)
tests/test_charge.py修正前は失敗し、修正後は成功
+def test_retry_charges_once(gw, order, card):
+ gw.fail_next_with(Timeout)
+ create_charge(order, card)
+ create_charge(order, card) # the retry
+ assert gw.charges_for(order) == 1
refunds/refund.py返金サービスへの同じ修正
def create_refund(charge, amount):
- return gateway.refund(charge.id, amount)
+ key = f"refund-{charge.id}"
+ return gateway.refund(charge.id, amount,
+ idempotency_key=key)
ソフトウェアエンジニアのAIスキルのテストについての質問
エンジニアは自分の環境でClaude CodeやCodexを使えますか？
はい。自分のパソコンで自分の設定、skill、保存済みプロンプトを使って作業できます。何もインストールしたくなければ、当社のブラウザサンドボックスも使えます。
これはコーディングテストですか？
いいえ。実際のコードベースの実際のバグで、AIを使って修正することが前提です。修正そのものに加えて、AIとの働き方も採点します。
どの言語に対応していますか？
現在のタスクは決済サービスです。別のスタックが必要なら、独自のタスクをお持ち込みいただければ、一緒に設定します。
