Kandidater løser en rigtig opgave fra jobbet med det AI-værktøj de allerede bruger. Vi optager hele deres samtale med AI’en, vurderer seks kompetencer ud fra den og linker hver score til præcis den besked, den bygger på. Herunder: hvad vi måler, hvordan et niveau gives, og et fuldt eksempel.
AI-kompetencer er det en person gør for at få godt arbejde ud af et AI-værktøj. Vi nævner seks: at forstå opgaven før den gives videre, briefe AI’en, kontrollere det den giver tilbage, rette den når den tager fejl, godkende arbejde der er klar til at blive sendt, og gøre det gentageligt.
Giv personen en rigtig opgave fra jobbet, og lad dem bruge det AI-værktøj de allerede bruger. Læs derefter hele samtalen, ikke kun resultatet. Kompetencerne viser sig i hvad de spurgte om, hvad de kontrollerede, og hvad de ændrede.
AI er den hurtigste og mest selvsikre juniorkollega du nogensinde har haft. Vi tester hvor godt folk leder den.
En test måler to ting:
1. AI-kompetencerHvor godt arbejder de med AI? Seks kompetencer, læst ud fra hvordan de løser én længere, rigtig opgave fra jobbet. Vurderes fra Svag til Stærk.
2. JobkompetencerEr selve arbejdet godt? To eller tre kompetencer til rollen, læst ud fra den samme opgave. Vurderes under, på eller over niveau.
Læst ud fra én rigtig opgave til rollen. For hver kompetence: det spørgsmål den besvarer, hvordan svagt og stærkt arbejde ser ud, og et rigtigt eksempel på noget du kan pege på i sessionen.
Forstår de opgaven, før de giver den til AI?
Beder om svaret først. Tager briefet som det er.
Læser materialet først. Bryder problemet ned. Opdager når briefet er forkert.
Så på data, før der blev bedt om et svar.
Giver de AI det den har brug for?
Indsætter det hele og skriver ”gør det her”.
Giver kontekst, grænser, eksempler og hvad færdigt betyder. Beholder de svære vurderinger selv.
Sagde til AI’en at den kun måtte bruge tallene i filerne.
Opdager de det, når AI tager fejl?
Sender det der ser færdigt ud.
Tester mod kilden. Fanger det opdigtede faktum og det forkerte tal.
Holdt totalen op mod økonomiafdelingens tal.
Retter de det, når det ikke virker?
”Prøv igen”, ”gør det bedre”, igen og igen.
Siger hvad der er galt og hvorfor. Skifter tilgang tidligt.
Da en forespørgsel var forkert, sagde hvad der var galt med den.
Er det de afleverer, klar til at blive sendt?
Fyld, for langt, påstande ingen har kontrolleret.
Klar til læseren. Siger hvad der er kontrolleret, og hvad der ikke er. Holder fortrolige data ude.
Fem linjer, som der blev bedt om, med antagelserne angivet.
Gør de det gentageligt?
Laver arbejdet i hånden hver gang.
Gemte prompts, skills, workflows og automatiseringer. Næste kørsel er hurtigere og ens.
Klarede de næste to kvartaler på samme måde uden at starte forfra.
Prompting, iteration, kontrol for hallucinationer: AI-kompetencer har mange navne. Hvert almindeligt begreb er dækket af en af vores seks kompetencer. Hvis din virksomhed har sin egen liste over AI-kompetencer, så brug denne tabel til at matche den med vores.
| Almindeligt begreb | Vurderes under |
|---|---|
| At beslutte hvad AI kan hjælpe med | Briefe |
| At dele opgaven op i trin | Forstå |
| Prompting: mål, kontekst, grænser, format, eksempler, hvad færdigt betyder | Briefe |
| Iteration | Rette |
| Verifikation, fejl, hallucinationer og bias | Kontrollere |
| Sikkerhed, databeskyttelse, fortrolighed og compliance | Godkende |
| Genbrugelige prompts, workflows, skills, agenter og automatiseringer | Genbruge |
| Skabeloner og standarder til teamet | Genbruge |
| At forbinde værktøjer og data | Genbruge og opgaverne med nettet og regneark |
| Kritisk tænkning | Alle seks. Det er for bredt til at vurdere alene, så vi vurderer det der hvor det viser sig. |
| At måle den værdi AI tilføjer over tid | Vurderes ikke. Ét stykke arbejde kan ikke vise det. |
Det er ikke nok at være god med AI, hvis arbejdet er forkert. I en fuld test læser Lemonsignal også to eller tre kompetencer til rollen, ud fra det samme stykke arbejde. Hver markeres under, på eller over niveau.
Jobkompetencer til hver rolleHver opgave har et vurderingsskema, skrevet før nogen kandidat tager den. For hver kompetence nævner skemaet to eller tre kontrolpunkter: konkrete ting godt arbejde gør, for eksempel ”holdt totalen op mod en anden kilde”. Lemonsignal markerer hvilke kontrolpunkter kandidaten opfyldte, og hvor. Niveauet følger derefter af reglerne herunder, de samme for alle kandidater. Hvis der ikke er noget øjeblik at pege på, gives der intet niveau.
Hver kompetence giver point: Svag 0, Delvis 1, Solid 2, Stærk 3. Scoren er de opnåede point ud af de mulige point. Solid i alle seks er 12 af 18, altså 67 %. En kompetence der er Ikke testet, holdes ude af begge, så den ikke kan sænke scoren.
Scoren viser den samlede styrke. Anbefalingen stiller et andet spørgsmål: opfylder denne person det rollen kræver? Hver rolle har ufravigelige krav, for eksempel Kontrollere på Solid eller derover for en dataanalytiker. Mangler ét, er resultatet Under niveau, selv med en høj score. Du kan ændre de ufravigelige krav, før du sender opgaven. Det er en anbefaling: dit team træffer beslutningen.
Hvert niveau hviler på en af fire slags beviser. Lemonsignal finder de relevante øjeblikke, citerer dem og giver den første vurdering; dit team kontrollerer den. Et øjeblik markeres med sin omgang i samtalen (”Omgang 14” er besked nummer 14), ikke med klokken, fordi de fleste kandidater arbejder over mere end én omgang ved computeren.
| Beviser | For eksempel | Sådan vurderes det |
|---|---|---|
| Kendte AI-fejl bygget ind i opgaven | Hver opgave har et sted hvor AI normalt tager fejl. Nåede den fejl det arbejde de afleverede? | Kontrolleres automatisk: ja eller nej. |
| Deres samtale med AI’en | Så på data, før der blev bedt om et svar. | Lemonsignal finder øjeblikket og giver et første niveau. Dit team kontrollerer det. |
| Det de afleverede | Fem linjer, som der blev bedt om, med antagelserne angivet. | Lemonsignal, ud fra vurderingsskemaet. Dit team kontrollerer det. |
| Det de byggede | En gemt prompt, en skill, et script eller et workflow. | Lemonsignal, ud fra vurderingsskemaet. Dit team kontrollerer det. |
Det rigtige vurderingsskema for én opgave, dataanalytikerens. Kandidaten får dette brief: ”Dashboardet viser at omsætningen er faldet 12 % i marts. Forklar CFO’en hvorfor i fem linjer. Gør derefter K2 og K3.” Filerne de får, indeholder alt der skal til for at kontrollere svaret. I skemaet er hver række en kompetence. Opfyld alle kontrolpunkter i midterkolonnen for Solid; opfyld også det til højre for Stærk.
| Kompetence | Kontrolpunkter for Solid | Ekstra kontrolpunkt for Stærk |
|---|---|---|
| Forstå | Så på data, før der blev bedt om et svar. Tjekkede hvordan dashboardet definerer omsætning. | Stillede spørgsmål ved dashboardets tal, før det blev forklaret, og gjorde det til spørgsmålet. |
| Briefe | Gav AI’en tabellerne og definitionen. Sagde at den kun måtte bruge disse tal. | Beholdt selv konklusionen; AI’en lavede forespørgslerne. |
| Kontrollere | Kontrollerede AI’ens forespørgsel, før tallet blev brugt. Holdt totalen op mod en anden kilde. | Tjekkede en anden måned for at udelukke en enlig afvigelse. |
| Rette | Da en forespørgsel var forkert, sagde hvad der var galt. | Tilføjede en kontrol, så det ikke kunne ske igen. |
| Godkende | Fem linjer, som der blev bedt om. Ingen påstand uden kilde. Antagelser angivet. | Nævnte hvad der stadig ikke er bekræftet. |
| Genbruge | Klarede K2 og K3 på samme måde uden at lave det om i hånden. | Afleverede den prompt, skill eller forespørgsel de byggede. |
Det resultat dette skema gav for én kandidat. Hvert niveau linker til den omgang, det kommer fra.
Det han afleverede, sådan som han afleverede det. Hver markering er en kompetence fra hans resultat.
På grund af prisændringen den 1. marts.
| Måned | Omsætning (1.000 €) | Ændring |
|---|---|---|
| Januar | 1,212 | |
| Februar | 1,240 | +2.3% |
| Marts | 1,091 | −12.0% |
| April | 1,118 | +2.5% |
| Maj | 1,152 | +3.0% |
| Juni | 1,139 | −1.1% |
| Juli | 1,101 | −3.3% |
| August | 1,087 | −1.3% |
| September | 1,164 | +7.1% |
Lemonsignal giver en første vurdering af hver session. Din ansættende leder eller recruiter ser sessionen, kontrollerer vurderingen og kan tilføje kommentarer. De beslutter. Vi skriver opgaverne og vurderingsskemaerne.
Vurderingsskemaet skrives før nogen tager opgaven, så alle kandidater holdes op mod det samme. Hvert niveau linker til det øjeblik, det bygger på, så du selv kan kontrollere enhver score.
Vi kontrollerer at den der løser opgaven, er den du sendte den til. Det de afleverer, skal stemme med deres samtale med AI’en. Og interviewspørgsmålet handler om et konkret øjeblik, som er svært at svare på for arbejde man ikke selv har lavet.
Vi optager samtalen med AI-værktøjet, det arbejde de afleverer, og alt de har bygget til det. Dit ansættelsesteam og kandidaten kan se det. Alt gemmes i EU og håndteres efter GDPR.
Lemonsignal læser hele samtalen, markerer de øjeblikke der betyder noget, og giver en første vurdering. Hvert niveau linker til det øjeblik, det kommer fra. Dit ansættelsesteam ser sessionen, kontrollerer vurderingen, tilføjer kommentarer og beslutter.
Resultater for samme opgave vurderes mod samme skema, så de kan sammenlignes. En anden opgave, eller din egen, har sit eget skema.
Fortæl dem i briefet hvilke værktøjer de skal bruge. Hvis de bruger et andet, kan vi måske ikke læse samtalen, og de kompetencer der afhænger af den, er Ikke testet i stedet for at blive vurderet lavere.
Giv en rigtig opgave fra jobbet, lad dem bruge deres eget AI-værktøj, og læs samtalen bagefter. Spørg derefter til ét øjeblik i den: hvorfor de stolede på et tal, eller hvorfor de ændrede briefet. At bede folk beskrive hvordan de bruger AI, viser hvor godt de taler om det, ikke hvor godt de gør det.
Hvis de skal bruge AI i jobbet, ja. Et forbud tester en arbejdsform de ikke vil bruge. At tillade det uden at læse samtalen er den anden fejl: du ser et færdigt stykke arbejde og kan ikke se hvem der tænkte.
De samme seks. En marketingmedarbejder kontrollerer et tal AI’en har opdigtet; en udvikler kontrollerer en rettelse der ser rigtig ud, men ikke er det. Det der skifter fra rolle til rolle, er opgaven, ikke kompetencerne.
Scoren er et gennemsnit af de seks kompetencer. Anbefalingen ser på hvad rollen skal have. En høj score med et ufravigeligt krav under niveau er ikke et match, og resultatet siger hvilken kompetence det er.
Vi bruger cookies til at analysere trafikken på sitet og forbedre din oplevelse.
PrivatlivspolitikVi bruger cookies.