AI-vaardigheidstest voor software-engineers, op echt engineeringwerk.
Een goede engineer met AI blijft eigenaar van het werk. Die vindt de oorzaak voordat de AI code mag schrijven, en bewijst met een test dat de wijziging werkt.
Voor wie de AI-vaardigheidstest voor software-engineers is
Software-engineers
Backend-engineers
Full-stack-engineers
Product-engineers
Mensen die de services achter een softwareproduct bouwen en onderhouden: API’s, betalingen, integraties. Ze bouwen features, lossen bugs op in code die ze niet zelf schreven, en leveren wijzigingen op die iemand anders kan nakijken.
Een voorbeeld van een AI-opdracht voor software-engineers
Een van onze engineeringopdrachten. In je dashboard staat de rest, en je kunt je eigen meenemen.
LemonsignalJe opdrachtOpnameDeadlineVr 24 okt
De opdracht
Los een dubbele afschrijving op
Klanten worden dubbel afgeschreven. Zoek in de betaalservice uit waarom en los het op, zonder iets anders stuk te maken.
Los daarna hetzelfde probleem op in de refundservice.
Bestanden
De code van de betaalservice
Logs van drie dubbele afschrijvingen
De retry-instellingen
Tijd
Deadline Vr 24 okt
Werk in
Claude Code
Codex
Start op mijn computerStart in de browser
Waar AI de fout ingaatElke opdracht heeft een paar plekken waar AI het meestal fout doet. Zo zie je wie het werk controleert.
Het deel dat terugkomtNa de betaalservice lossen ze dezelfde bug op in de refundservice. Je ziet of ze hergebruiken wat ze de eerste keer bouwden, of opnieuw met de hand beginnen.
TijdDat bepaal jij: een deadline, een tijdslimiet of allebei. We raden een deadline zonder tijdslimiet aan, zodat ze werken zoals ze in de functie zouden doen.
Waar ze werkenClaude Code of Codex, op hun eigen computer of in de browser.
De AI-vaardigheden waar we bij software-engineers op letten
BegrijpenReproduceert de bug en volgt één betaling door de code voordat er om een fix wordt gevraagd.
BriefenGeeft de AI de logs, de bestanden die ertoe doen, en wat niet mag worden aangeraakt.
ControlerenDraait de tests, en accepteert een fix pas als die is bewezen.
BijsturenZegt welk deel van de fix fout is en waarom, in plaats van om een nieuwe poging te vragen.
GoedkeurenEen wijziging die iemand anders kan nakijken: klein, getest, en duidelijk over wat niet is getest.
HergebruikenLost de tweede service op met wat ze voor de eerste opzetten, niet opnieuw met de hand.
Plus de vaardigheden voor de functieAfgeleid uit dezelfde opdracht.
De oorzaak vinden
Een fix bewijzen met een test
Onderhoudbare code
Wat je per engineeringkandidaat krijgt
LemonsignalDana Okafor
Dana OkaforBackend engineer · Opdracht: los een dubbele afschrijving op · Claude Code · 2 u 40 min
Gecontroleerd door Lemonsignal
89%Sterke match
Vond de oorzaak voordat ze de AI een fix liet schrijven.
Testte de fix van de AI in plaats van erop te vertrouwen.
Loste de tweede service op met wat ze voor de eerste had gebouwd.
BegrijpenSterkLiet de AI de dubbele afschrijving reproduceren en volgde één betaling door de code vóór elke fix.Beurt 2
BriefenSolideGaf de AI de logs en de bestanden die ertoe doen, en zei wat er niet mocht veranderen.Beurt 4
ControlerenSterkDraaide de tests op de eerste fix van de AI en wees die af. Bewees haar eigen fix met een test.Beurten 12, 19
BijsturenSterkVertelde de AI waarom de eerste fix fout was en waar die moest kijken.Beurt 13
GoedkeurenSolideEen kleine wijziging met test, en een notitie over wat ze niet heeft getest.
HergebruikenSterkBewaarde de stappen als skill en gebruikte die om de refundservice te repareren.
Vaardigheden voor de functie
De oorzaak vindenBoven niveau
Een fix bewijzen met een testBoven niveau
Onderhoudbare codeOp niveau
Wat ze inleverde, zoals ze het inleverde. Elke markering is een vaardigheid uit haar resultaat.
BegrijpenSterkGoedkeurenSolide
WijzigingsnotitieEén afschrijving per bestelling, ook als de gateway het opnieuw probeert
Oorzaak: na een time-out van de gateway maakte de nieuwe poging een tweede afschrijving aan.
Fix: elke afschrijving krijgt een sleutel van de bestelling, zodat een nieuwe poging de eerste afschrijving teruggeeft in plaats van een nieuwe te maken.
Test: een nieuwe poging na een time-out schrijft nu één keer af. Alle 48 tests slagen.
Niet getest: gedeeltelijke captures, die we nog niet gebruiken.
ControlerenSterkHergebruikenSterk
payments/charge.pyDe fix
def create_charge(order, card):
- return gateway.charge(order.total, card)
+ key = f"order-{order.id}"
+ return gateway.charge(order.total, card,
+ idempotency_key=key)
tests/test_charge.pyFaalt vóór de fix, slaagt erna
Vragen over het testen van de AI-vaardigheden van software-engineers
Kunnen engineers Claude Code of Codex in hun eigen omgeving gebruiken?
Ja. Ze werken op hun eigen computer met hun eigen instellingen, skills en bewaarde prompts, of in onze browsersandbox als ze liever niets installeren.
Is dit een codetest?
Nee. Het is een echte bug in een echte codebase, en het is de bedoeling dat ze AI gebruiken om die op te lossen. We scoren hoe ze met de AI werken én de fix zelf.
Welke talen ondersteunen jullie?
De opdracht die we nu hebben is een betaalservice. Heb je een andere stack nodig, neem dan je eigen opdracht mee en we zetten die samen met je op.
Claude Code
Codex