Förstå
Förstår de uppgiften innan de lämnar den till AI?
Svag
Ber om svaret först. Tar briefen som den är.
Stark
Läser materialet först. Delar upp problemet. Ser när briefen är fel.
Till exempel
Tittade på datan innan hen bad om ett svar.
Så bedömer vi AI-kompetens: metoden, nivåerna och bevisen.
Kandidater gör en riktig uppgift från jobbet med det AI-verktyg de redan använder. Vi spelar in hela deras konversation med AI:n, bedömer sex färdigheter utifrån den och länkar varje poäng till exakt det meddelande den bygger på. Nedan: vad vi mäter, hur en nivå sätts och ett komplett exempel.
Vad vi menar med AI-kompetens
AI-kompetens är det en person gör för att få bra arbete ur ett AI-verktyg. Vi nämner sex färdigheter: förstå uppgiften innan den lämnas över, briefa AI:n, kontrollera vad den ger tillbaka, korrigera den när den har fel, godkänna arbete som är klart att skicka och göra det repeterbart.
Så testar vi AI-kompetens: en riktig uppgift
Ge personen en riktig uppgift från jobbet och låt hen använda det AI-verktyg hen redan använder. Läs sedan hela konversationen, inte bara resultatet. Färdigheterna syns i vad hen frågade, kontrollerade och ändrade.
AI är den snabbaste och mest självsäkra juniora kollega du någonsin haft. Vi testar hur väl folk leder den.
Ett test mäter två saker:
1. AI-kompetensHur väl arbetar de med AI? Sex färdigheter, avlästa från hur de gör en längre, riktig uppgift från jobbet. Bedöms från Svag till Stark.
2. Färdigheter för jobbetÄr själva arbetet bra? Två eller tre färdigheter för rollen, avlästa från samma uppgift. Bedöms under, på eller över ribban.
1. Bedömningsmallen för AI-kompetens: sex färdigheter
Avläses från en riktig uppgift för rollen. För varje färdighet: frågan den besvarar, hur svagt och starkt arbete ser ut, och ett riktigt exempel på något du kan peka på i sessionen.
Briefa
Ger de AI det den behöver?
Svag
Klistrar in allt och säger ”gör det här”.
Stark
Ger sammanhang, gränser, exempel och vad klart betyder. Behåller avgörandena själv.
Till exempel
Sa åt AI:n att bara använda siffrorna i filerna.
Kontrollera
Märker de när AI har fel?
Svag
Levererar det som ser färdigt ut.
Stark
Testar mot källan. Fångar det påhittade faktumet och den felaktiga siffran.
Till exempel
Stämde av totalen mot ekonomiavdelningens siffra.
Korrigera
Rättar de till det när det inte fungerar?
Svag
”Försök igen”, ”gör det bättre”, om och om igen.
Stark
Säger vad som är fel och varför. Byter angreppssätt tidigt.
Till exempel
När en fråga var fel, sa vad som var fel med den.
Godkänna
Är det de lämnar över klart att skicka?
Svag
Fyllnadstext, för långt, påståenden ingen kontrollerat.
Stark
Klart för läsaren. Säger vad som kontrollerats och inte. Håller konfidentiella uppgifter utanför.
Till exempel
Fem rader, som begärt, med antagandena angivna.
Återanvända
Gör de det repeterbart?
Svag
Gör om arbetet för hand varje gång.
Stark
Sparade promptar, skills, workflows och automatiseringar. Nästa körning går snabbare och blir likadan.
Till exempel
Gjorde de två nästa kvartalen på samma sätt, utan att börja om.
Så motsvarar vanliga termer för AI-kompetens de sex
Promptning, iteration, kontroll av hallucinationer: AI-kompetens har många namn. Varje vanlig term täcks av en av våra sex färdigheter. Om ditt företag har en egen lista över AI-kompetens, använd den här tabellen för att matcha den mot vår.
| Vanlig term | Bedöms under |
|---|---|
| Avgöra vad AI kan hjälpa till med | Briefa |
| Dela upp uppgiften i steg | Förstå |
| Promptning: mål, sammanhang, gränser, format, exempel, vad klart betyder | Briefa |
| Iteration | Korrigera |
| Verifiering, fel, hallucinationer och partiskhet | Kontrollera |
| Säkerhet, dataskydd, sekretess och regelefterlevnad | Godkänna |
| Återanvändbara promptar, workflows, skills, agenter och automatiseringar | Återanvända |
| Mallar och standarder för teamet | Återanvända |
| Koppla ihop verktyg och data | Återanvända, och uppgifterna med webb och kalkylblad |
| Kritiskt tänkande | Alla sex. Det är för brett för att bedömas för sig, så vi bedömer det där det syns. |
| Mäta värdet AI tillför över tid | Bedöms inte. Ett enskilt arbete kan inte visa det. |
2. Färdigheterna för jobbet som vi bedömer bredvid AI-kompetens
Att vara bra på AI räcker inte om arbetet är fel. I ett komplett test avläser Lemonsignal också två eller tre färdigheter för rollen, från samma arbete. Var och en markeras under, på eller över ribban.
Färdigheter för varje roll- UtvecklingHitta grundorsaken · Bevisa en fix med ett test · Kod som andra kan underhålla
- ProduktPrioritera med bevis · Säga nej skriftligt · Ett beslut andra kan följa
- DesignDesign grundad i bevis · Arbeta inom en hård begränsning · Förklara valet
- MarknadsföringEn budget knuten till riktiga siffror · Välja rätt kanaler · Positionering
Så sätts en nivå för AI-kompetens
Varje uppgift har en bedömningsmall, skriven innan någon kandidat gör den. För varje färdighet listar mallen två eller tre kontrollpunkter: specifika saker bra arbete gör, till exempel ”stämde av totalen mot en andra källa”. Lemonsignal markerar vilka kontrollpunkter kandidaten uppfyllde, och var. Nivån följer sedan av reglerna nedan, samma för alla kandidater. Om det inte finns något ögonblick att peka på sätts ingen nivå.
- Svag I ett läge som krävde färdigheten gjorde de tvärtom, och rättade aldrig till det. Till exempel: använde AI:ns siffra utan att kontrollera den, och den felaktiga siffran hamnade i det färdiga arbetet.
- Delvis Uppfyllde några av kontrollpunkterna, eller uppfyllde dem först sent i uppgiften.
- Stabil Uppfyllde varje kontrollpunkt för färdigheten.
- Stark Uppfyllde varje kontrollpunkt, plus den extra som bara det bästa arbetet visar.
- Ej testad Uppgiften gav ingen tydlig chans att visa färdigheten, eller så pekar bevisen åt båda hållen. Den lämnas utanför poängen, så den räknas aldrig emot dem.
Poängen
Varje färdighet ger poäng: Svag 0, Delvis 1, Stabil 2, Stark 3. Poängen är de intjänade poängen av de möjliga. Stabil på alla sex är 12 av 18, alltså 67 %. En färdighet som är Ej testad lämnas utanför båda, så den kan inte sänka poängen.
Rekommendationen
Poängen visar den samlade styrkan. Rekommendationen ställer en annan fråga: uppfyller den här personen det rollen behöver? Varje roll har skallkrav, till exempel Kontrollera på Stabil eller högre för en dataanalytiker. Missas ett blir resultatet Under ribban, även med hög poäng. Du kan ändra skallkraven innan du skickar uppgiften. Det är en rekommendation: ditt team fattar beslutet.
Var bevisen kommer ifrån
Varje nivå vilar på en av fyra typer av bevis. Lemonsignal hittar de relevanta ögonblicken, citerar dem och gör den första bedömningen; ditt team kontrollerar den. Ett ögonblick markeras med sin omgång i konversationen (”Omgång 14” är meddelande nummer 14), inte med klockan, eftersom de flesta kandidater arbetar vid mer än ett tillfälle.
| Bevis | Till exempel | Så bedöms det |
|---|---|---|
| Kända AI-misstag inbyggda i uppgiften | Varje uppgift har ett ställe där AI brukar göra fel. Hamnade misstaget i arbetet de lämnade in? | Kontrolleras automatiskt: ja eller nej. |
| Deras konversation med AI:n | Tittade på datan innan hen bad om ett svar. | Lemonsignal hittar ögonblicket och sätter en första nivå. Ditt team kontrollerar den. |
| Det de lämnade in | Fem rader, som begärt, med antagandena angivna. | Lemonsignal, mot bedömningsmallen. Ditt team kontrollerar det. |
| Det de byggde | En sparad prompt, en skill, ett skript eller ett workflow. | Lemonsignal, mot bedömningsmallen. Ditt team kontrollerar det. |
Ett genomarbetat exempel: så bedöms en kandidats AI-kompetens
Den riktiga bedömningsmallen för en uppgift, dataanalytikerns. Kandidaten får den här briefen: ”Dashboarden visar intäkter ner 12 % i mars. Förklara varför för CFO:n på fem rader. Gör sedan Q2 och Q3.” Filerna de får innehåller allt som behövs för att kontrollera svaret. I mallen är varje rad en färdighet. Uppfyll varje kontrollpunkt i mittenkolumnen för Stabil; uppfyll också den till höger för Stark.
| Färdighet | Kontrollpunkter för Stabil | Extra kontrollpunkt för Stark |
|---|---|---|
| Förstå | Tittade på datan innan hen bad om ett svar. Kontrollerade hur dashboarden definierar intäkter. | Ifrågasatte dashboardens siffra innan hen förklarade den, och gjorde det till frågan. |
| Briefa | Gav AI:n tabellerna och definitionen. Sa åt den att bara använda dessa siffror. | Behöll slutsatsen själv; AI:n gjorde frågorna. |
| Kontrollera | Kontrollerade AI:ns fråga innan siffran användes. Stämde av totalen mot en andra källa. | Kontrollerade en andra månad för att utesluta en engångshändelse. |
| Korrigera | När en fråga var fel, sa vad som var fel. | Lade till en kontroll så att det inte kunde hända igen. |
| Godkänna | Fem rader, som begärt. Inget påstående utan källa. Antaganden angivna. | Nämnde vad som ännu inte är verifierat. |
| Återanvända | Gjorde Q2 och Q3 på samma sätt, utan att göra om det för hand. | Lämnade in prompten, skillen eller frågan hen byggde. |
Resultatet den här mallen gav för en kandidat. Varje nivå länkar till omgången den kommer från.
Anton LindqvistData analyst · Uppgift: Förklara ett intäktstapp · Claude Code · 1 h 50 min
Kontrollerat av Lemonsignal 44 %Under ribban
- Tog AI:ns första fråga utan att kontrollera den.
- Skickade CFO:n en siffra han inte hade kontrollerat.
- Byggde ett skript som gjorde Q2 och Q3 snabba och likadana.
- Förstå Delvis Frågade vad ”intäkter” betyder här, men först efter det första svaret. Omgång 9
- Briefa Delvis Gav den tabellerna, men inte definitionen. Omgång 1
- Kontrollera Svag Tog den första frågan som den var, och stämde aldrig av totalen mot en andra källa. Omgång 4
- Korrigera Stabil När en fråga misslyckades sa han vilken join som var fel. Omgång 6
- Godkänna Delvis Fem rader, som begärt, byggda på en siffra han inte hade kontrollerat.
- Återanvända Stark Sparade frågan som ett skript och körde Q2 och Q3 med det.
Färdigheter för jobbet
- Definiera måttetUnder ribban
- Noggrannhet i analysenUnder ribban
- Förklara för icke-tekniska personerPå ribban
Det han lämnade in, så som han lämnade in det. Varje markering är en färdighet från hans resultat.
Till CFO:n Intäkterna i mars föll 12 %
På grund av prisändringen den 1 mars.
- Vad som hände: intäkterna föll från 1,24 M€ i februari till 1,09 M€ i mars.
- Bevisen: ordrarna höll i sig (+2 %), så varje order är värd mindre.
- Var: årsabonnemangen föll mest.
- Nästa steg: Q2 och Q3, körda på samma sätt.
revenue_by_month.py, körd för Q1 till Q3
| Månad | Intäkter (k€) | Förändring |
|---|---|---|
| Januari | 1,212 | |
| Februari | 1,240 | +2.3% |
| Mars | 1,091 | −12.0% |
| April | 1,118 | +2.5% |
| Maj | 1,152 | +3.0% |
| Juni | 1,139 | −1.1% |
| Juli | 1,101 | −3.3% |
| Augusti | 1,087 | −1.3% |
| September | 1,164 | +7.1% |
Vad du får tillbaka
- En poäng, en rekommendation och skälen.Poängen är en procentsats. Rekommendationen är en av: Stark matchning, Bra matchning med en öppen fråga, Under ribban eller Inte tillräckligt med bevis. Två till fyra skäl förklarar den, vart och ett länkat till ögonblicket det kommer från.
- En nivå för var och en av de sex AI-färdigheterna.Varje nivå länkar till sina bevis: meddelandet i konversationen, raden i arbetet eller filen de byggde.
- Färdigheter för jobbet.I ett komplett test: två eller tre färdigheter för rollen, var och en under, på eller över ribban.
- Att jobba på.Den färdighet som är mest värd att förbättra, och om det är en liten lucka eller mycket att lära. Om rekommendationen har en öppen fråga är det den här.
- En fråga till intervjun.Om ett specifikt ögonblick i arbetet, så att du kan prata igenom det med dem.
Vad vi aldrig bedömer
- Hur långa eller många deras promptar är. En kort prompt med rätt sammanhang slår en lång utan det.
- Snabbhet. Du ser hur lång tid de tog, som ett faktum. Det ändrar aldrig en poäng.
- Vilket AI-verktyg de valde. Alla fyra verktyg kan göra arbetet. Det som spelar roll är hur de använder det de kan.
- Polerad text eller perfekt engelska. Vi bedömer om arbetet stämmer och är klart för sin läsare, inte deras stil.
Så håller vi det rättvist
Vem som bedömer
Lemonsignal gör en första bedömning av varje session. Din rekryterande chef eller rekryterare tittar på sessionen, kontrollerar bedömningen och kan lägga till kommentarer. De beslutar. Vi skriver uppgifterna och bedömningsmallarna.
Enhetliga poäng
Bedömningsmallen skrivs innan någon gör uppgiften, så alla kandidater bedöms mot samma sak. Varje nivå länkar till ögonblicket den bygger på, så du kan kontrollera vilken poäng som helst själv.
Fusk
Vi kontrollerar att den som gör uppgiften är den du skickade den till. Det de lämnar in måste stämma med deras konversation med AI:n. Och intervjufrågan handlar om ett specifikt ögonblick, vilket är svårt att svara på för arbete man inte gjort.
Era och deras data
Vi spelar in konversationen med AI-verktyget, arbetet de lämnar in och allt de byggt för det. Ert rekryteringsteam och kandidaten kan se det. Allt lagras i EU och hanteras enligt GDPR.
Frågor om hur vi bedömer AI-kompetens
Är det AI som bedömer?
Lemonsignal läser hela konversationen, markerar de ögonblick som spelar roll och gör en första bedömning. Varje nivå länkar till ögonblicket den kommer från. Ert rekryteringsteam tittar på sessionen, kontrollerar bedömningen, lägger till kommentarer och beslutar.
Kan resultat från två företag jämföras?
Resultat för samma uppgift bedöms mot samma mall, så de går att jämföra. En annan uppgift, eller din egen, har sin egen mall.
Vad händer om en kandidat använder ett verktyg ni inte stöder?
Säg i briefen vilka verktyg de ska använda. Om de använder ett annat kanske vi inte kan läsa konversationen, och färdigheterna som beror på den blir Ej testad i stället för att få lägre betyg.
Hur testar du AI-kompetens på en intervju?
Ge en riktig uppgift från jobbet, låt dem använda sitt eget AI-verktyg och läs konversationen efteråt. Fråga sedan om ett ögonblick i den: varför de litade på en siffra, eller varför de ändrade briefen. Att be folk beskriva hur de använder AI visar hur bra de pratar om det, inte hur bra de gör det.
Ska kandidater få använda AI i en hemuppgift?
Om de kommer att använda AI i jobbet, ja. Ett förbud testar ett arbetssätt de inte kommer att använda. Att tillåta det utan att läsa konversationen är det andra misstaget: du ser ett färdigt arbete och kan inte avgöra vem som tänkte.
Vilken AI-kompetens ska vi titta efter i en icke-teknisk roll?
Samma sex. En marknadsförare kontrollerar en siffra AI:n hittat på; en utvecklare kontrollerar en fix som ser rätt ut men inte är det. Det som ändras från roll till roll är uppgiften, inte färdigheterna.
Varför kan poängen och rekommendationen gå isär?
Poängen är ett genomsnitt av de sex färdigheterna. Rekommendationen ser på vad rollen måste ha. En hög poäng med ett skallkrav under ribban är ingen matchning, och resultatet säger vilken färdighet det gäller.