Kandidaten doen een echte opdracht uit de functie met de AI-tool die ze al gebruiken. We nemen hun hele gesprek met de AI op, scoren daaruit zes vaardigheden, en koppelen elke score aan het precieze bericht waarop die is gebaseerd. Hieronder: wat we meten, hoe een niveau wordt gegeven, en een volledig voorbeeld.
AI-vaardigheden zijn wat iemand doet om goed werk uit een AI-tool te halen. We noemen er zes: de opdracht begrijpen voordat je die uit handen geeft, de AI briefen, controleren wat die teruggeeft, bijsturen als die het fout heeft, werk goedkeuren dat klaar is om te versturen, en het herhaalbaar maken.
Geef de persoon een echte opdracht uit de functie en laat die de AI-tool gebruiken die die al gebruikt. Lees daarna het hele gesprek, niet alleen het resultaat. De vaardigheden blijken uit wat ze vroegen, wat ze controleerden en wat ze veranderden.
AI is de snelste, zelfverzekerdste junior collega die je ooit hebt gehad. Wij testen hoe goed mensen die aansturen.
Een assessment meet twee dingen:
1. AI-vaardighedenHoe goed werken ze met AI? Zes vaardigheden, afgelezen uit hoe ze één langere, echte opdracht uit de functie doen. Gescoord van Zwak tot Sterk.
2. VakvaardighedenIs het werk zelf goed? Twee of drie vaardigheden voor de functie, afgelezen uit dezelfde opdracht. Gescoord als onder, op of boven niveau.
Afgelezen uit één echte opdracht voor de functie. Per vaardigheid: de vraag die ze beantwoordt, hoe zwak en sterk werk eruitziet, en een echt voorbeeld van iets wat je in de sessie kunt aanwijzen.
Begrijpen ze de opdracht voordat ze die aan AI geven?
Vraagt eerst om het antwoord. Neemt de opdracht aan zoals die is.
Leest eerst het materiaal. Deelt het probleem op. Ziet wanneer de opdracht niet klopt.
Keek naar de data voordat er om een antwoord werd gevraagd.
Geven ze AI wat die nodig heeft?
Plakt alles erin en zegt “doe dit”.
Geeft context, grenzen, voorbeelden en wat af betekent. Houdt de beslissingen bij zichzelf.
Zei tegen de AI alleen de getallen uit de bestanden te gebruiken.
Merken ze het als AI het fout heeft?
Levert op wat er af uitziet.
Toetst aan de bron. Betrapt het verzonnen feit en het verkeerde getal.
Legde het totaal naast het getal van finance.
Lossen ze het op als het niet werkt?
“Probeer opnieuw”, “maak het beter”, keer op keer.
Zegt wat er mis is en waarom. Past de aanpak vroeg aan.
Toen een query fout was, zei wat er mis mee was.
Is wat ze opleveren klaar om te versturen?
Opvulling, te lang, beweringen die niemand controleerde.
Klaar voor de lezer. Zegt wat wel en niet is gecontroleerd. Houdt vertrouwelijke gegevens eruit.
Vijf regels, zoals gevraagd, met de aannames erbij.
Maken ze het herhaalbaar?
Doet het werk elke keer opnieuw met de hand.
Bewaarde prompts, skills, workflows en automatiseringen. De volgende keer gaat sneller en hetzelfde.
Deed de volgende twee kwartalen op dezelfde manier, zonder opnieuw te beginnen.
Prompting, itereren, controleren op hallucinaties: AI-vaardigheden hebben veel namen. Elke gangbare term valt onder een van onze zes vaardigheden. Heeft je bedrijf een eigen lijst met AI-vaardigheden, gebruik deze tabel dan om die op de onze af te stemmen.
| Gangbare term | Gescoord onder |
|---|---|
| Bepalen waar AI bij kan helpen | Briefen |
| De opdracht opdelen in stappen | Begrijpen |
| Prompting: doel, context, grenzen, format, voorbeelden, wat af betekent | Briefen |
| Itereren | Bijsturen |
| Verificatie, fouten, hallucinaties en bias | Controleren |
| Beveiliging, gegevensbescherming, vertrouwelijkheid en compliance | Goedkeuren |
| Herbruikbare prompts, workflows, skills, agents en automatiseringen | Hergebruiken |
| Sjablonen en standaarden voor het team | Hergebruiken |
| Tools en data koppelen | Hergebruiken, en de web- en spreadsheetopdrachten |
| Kritisch denken | Alle zes. Het is te breed om apart te scoren, dus we scoren het waar het zichtbaar wordt. |
| De waarde van AI over tijd meten | Niet gescoord. Eén stuk werk kan dat niet laten zien. |
Goed zijn met AI is niet genoeg als het werk niet klopt. Bij een volledig assessment leest Lemonsignal ook twee of drie vaardigheden voor de functie af, uit hetzelfde stuk werk. Elk wordt gemarkeerd als onder, op of boven niveau.
Vakvaardigheden per functieElke opdracht heeft een beoordelingsformulier, geschreven voordat een kandidaat eraan begint. Per vaardigheid noemt het formulier twee of drie checkpoints: specifieke dingen die goed werk doet, zoals “legde het totaal naast een tweede bron”. Lemonsignal markeert welke checkpoints de kandidaat haalde, en waar. Het niveau volgt daarna uit de regels hieronder, voor elke kandidaat dezelfde. Is er geen moment om aan te wijzen, dan wordt er geen niveau gegeven.
Elke vaardigheid levert punten op: Zwak 0, Deels 1, Solide 2, Sterk 3. De score is het aantal behaalde punten van het aantal mogelijke punten. Solide op alle zes is 12 van 18, dus 67%. Een vaardigheid die Niet getest is, blijft bij beide buiten beschouwing, dus die kan de score niet verlagen.
De score laat de totale sterkte zien. De aanbeveling stelt een andere vraag: voldoet deze persoon aan wat de functie nodig heeft? Elke functie heeft must-haves, bijvoorbeeld Controleren op Solide of hoger voor een data-analist. Mist er een, dan is het resultaat Onder niveau, zelfs met een hoge score. Je kunt de must-haves aanpassen voordat je de opdracht verstuurt. Het is een aanbeveling: je team neemt de beslissing.
Elk niveau rust op een van vier soorten bewijs. Lemonsignal vindt de relevante momenten, citeert ze en geeft de eerste beoordeling; je team controleert die. Een moment wordt gemarkeerd met de beurt in het gesprek (“Beurt 14” is het 14e bericht), niet met de klok, omdat de meeste kandidaten in meer dan één keer werken.
| Bewijs | Bijvoorbeeld | Hoe er gescoord wordt |
|---|---|---|
| Bekende AI-fouten ingebouwd in de opdracht | Elke opdracht heeft een plek waar AI het meestal fout doet. Belandde die fout in het werk dat ze inleverden? | Automatisch gecontroleerd: ja of nee. |
| Hun gesprek met de AI | Keek naar de data voordat er om een antwoord werd gevraagd. | Lemonsignal vindt het moment en geeft een eerste niveau. Je team controleert het. |
| Wat ze inleverden | Vijf regels, zoals gevraagd, met de aannames erbij. | Lemonsignal, op basis van het beoordelingsformulier. Je team controleert het. |
| Wat ze bouwden | Een bewaarde prompt, een skill, een script of een workflow. | Lemonsignal, op basis van het beoordelingsformulier. Je team controleert het. |
Het echte beoordelingsformulier voor één opdracht, die van de data-analist. De kandidaat krijgt deze opdracht: “Het dashboard toont een omzetdaling van 12% in maart. Leg de CFO in vijf regels uit waarom. Doe daarna Q2 en Q3.” De bestanden die ze krijgen bevatten alles om het antwoord te controleren. Op het formulier is elke rij een vaardigheid. Haal elk checkpoint in de middelste kolom voor Solide; haal ook dat rechts voor Sterk.
| Vaardigheid | Checkpoints voor Solide | Extra checkpoint voor Sterk |
|---|---|---|
| Begrijpen | Keek naar de data voordat er om een antwoord werd gevraagd. Controleerde hoe het dashboard omzet definieert. | Trok het getal van het dashboard in twijfel voordat het werd verklaard, en maakte dat de vraag. |
| Briefen | Gaf de AI de tabellen en de definitie. Zei alleen deze getallen te gebruiken. | Hield de conclusie bij zichzelf; de AI deed de query’s. |
| Controleren | Controleerde de query van de AI voordat het getal werd gebruikt. Legde het totaal naast een tweede bron. | Controleerde een tweede maand om een eenmalig effect uit te sluiten. |
| Bijsturen | Toen een query fout was, zei wat er mis was. | Voegde een controle toe zodat het niet nog eens kon gebeuren. |
| Goedkeuren | Vijf regels, zoals gevraagd. Geen bewering zonder bron. Aannames vermeld. | Noemde wat nog niet is geverifieerd. |
| Hergebruiken | Deed Q2 en Q3 op dezelfde manier, zonder het opnieuw met de hand te doen. | Leverde de prompt, skill of query in die werd gebouwd. |
Het resultaat dat dit formulier voor één kandidaat opleverde. Elk niveau linkt naar de beurt waar het vandaan komt.
Wat hij inleverde, zoals hij het inleverde. Elke markering is een vaardigheid uit zijn resultaat.
Door de prijswijziging van 1 maart.
| Maand | Omzet (€k) | Verandering |
|---|---|---|
| Januari | 1,212 | |
| Februari | 1,240 | +2.3% |
| Maart | 1,091 | −12.0% |
| April | 1,118 | +2.5% |
| Mei | 1,152 | +3.0% |
| Juni | 1,139 | −1.1% |
| Juli | 1,101 | −3.3% |
| Augustus | 1,087 | −1.3% |
| September | 1,164 | +7.1% |
Lemonsignal geeft een eerste beoordeling van elke sessie. Je hiring manager of recruiter bekijkt de sessie, controleert de beoordeling en kan opmerkingen toevoegen. Zij beslissen. Wij schrijven de opdrachten en de beoordelingsformulieren.
Het beoordelingsformulier wordt geschreven voordat iemand de opdracht doet, dus elke kandidaat wordt aan hetzelfde gehouden. Elk niveau linkt naar het moment waarop het is gebaseerd, dus je kunt elke score zelf controleren.
We controleren of degene die de opdracht doet ook degene is naar wie je hem stuurde. Wat ze inleveren moet kloppen met hun gesprek met de AI. En de interviewvraag gaat over een specifiek moment, en dat is moeilijk te beantwoorden over werk dat je niet zelf deed.
We nemen het gesprek met de AI-tool op, het werk dat ze inleveren en alles wat ze ervoor bouwden. Je wervingsteam en de kandidaat kunnen het zien. Alles wordt opgeslagen in de EU en verwerkt onder de AVG.
Lemonsignal leest het hele gesprek, markeert de momenten die ertoe doen en geeft een eerste beoordeling. Elk niveau linkt naar het moment waar het vandaan komt. Je wervingsteam bekijkt de sessie, controleert de beoordeling, voegt opmerkingen toe en beslist.
Resultaten voor dezelfde opdracht worden met hetzelfde formulier gescoord, dus die zijn vergelijkbaar. Een andere opdracht, of je eigen opdracht, heeft een eigen formulier.
Zeg in de opdracht welke tools ze moeten gebruiken. Gebruiken ze een andere, dan kunnen we het gesprek misschien niet lezen, en de vaardigheden die daarvan afhangen zijn dan Niet getest in plaats van lager gescoord.
Geef ze een echte opdracht uit de functie, laat ze hun eigen AI-tool gebruiken, en lees daarna het gesprek. Vraag dan naar één moment daarin: waarom ze een getal vertrouwden, of waarom ze de opdracht veranderden. Mensen vragen te beschrijven hoe ze AI gebruiken, laat zien hoe goed ze erover praten, niet hoe goed ze het doen.
Als ze AI in de functie gaan gebruiken, ja. Een verbod test een manier van werken die ze niet gaan gebruiken. AI toestaan zonder het gesprek te lezen is de andere fout: je ziet een afgerond stuk werk en weet niet wie het denkwerk deed.
Dezelfde zes. Een marketeer controleert een getal dat de AI verzon; een engineer controleert een fix die goed lijkt maar het niet is. Van functie tot functie verandert de opdracht, niet de vaardigheden.
De score is het gemiddelde van de zes vaardigheden. De aanbeveling kijkt naar wat de functie moet hebben. Een hoge score met een must-have onder niveau is geen match, en het resultaat zegt welke vaardigheid dat is.
We gebruiken cookies om het websiteverkeer te analyseren en je ervaring te verbeteren.
PrivacybeleidWe gebruiken cookies.