Samme test som til udviklere, uden koden. Giv en marketingmedarbejder, en økonom eller en recruiter en rigtig opgave fra deres job i ChatGPT eller Claude, og se om de opdager det, når AI’en tager fejl.
Hvorfor teste AI-kompetencer uden for udvikling?
Det meste AI-brug på arbejdet er ikke kode. I Microsofts og LinkedIns Work Trend Index fra 2024 sagde 75 % af vidensarbejderne at de bruger AI på arbejdet, og 78 % af dem medbringer deres egne AI-værktøjer (Microsoft). Så din næste ansatte i marketing eller økonomi vil sandsynligvis lave meget af jobbet med AI, uanset om du tester for det eller ej.
Risikoen er stille
Når AI tager fejl i kode, går noget ofte i stykker. Når den tager fejl i et budget, et kontraktresumé eller en kundemail, sker der intet. Det læser lige så godt, og nogen handler ud fra det.
Kompetencen er den samme
Forstå opgaven, brief AI’en, kontroller det der kommer tilbage, ret det, og aflever arbejde der er rigtigt. Kun opgaven og værktøjet skifter.
Sådan adskiller en test af AI-kompetencer sig for ikke-tekniske roller
Tekniske roller
Ikke-tekniske roller
AI-værktøjet
Claude Code eller Codex, der arbejder i koden
ChatGPT eller Claude Cowork, der arbejder med dokumenter, regneark og nettet
Når AI tager fejl
Ofte går noget i stykker: en test fejler, koden kører ikke
Normalt går intet i stykker. Et opdigtet tal eller en forkert påstand læser lige så godt som en rigtig
Hvad kontrol betyder
At køre testene
At føre hvert tal og hver påstand tilbage til kilden
Hvad de afleverer
En ændring nogen gennemgår
En mail, en plan eller et resumé nogen handler ud fra, ofte uden at kontrollere det igen
De seks kompetencer
Det samme
Det samme
Fire regler for en ikke-teknisk test af AI-kompetencer
1Brug en opgave fra jobbet, med rigtige filer.Dokumenter, regneark, noter, en politik. Ikke en quiz om AI, og intet der kræver kode.
2Lad dem bruge det AI-værktøj de allerede bruger.ChatGPT, Claude eller Claude Cowork. Tvinger du dem over i et nyt værktøj, tester du værktøjet og ikke personen.
3Sig at AI forventes.Folk der er usikre på om AI er tilladt, skjuler hvordan de arbejder, eller gør det i hånden.
4Læs samtalen og arbejdet.Vurder hvordan de briefede, kontrollerede og rettede, ikke hvor flot sproget er.
Tests af AI-kompetencer til marketing, økonomi, salg, HR og drift
For roller hvor vi ikke har en færdig opgave, er her idéer at starte fra: en rigtig opgave og det sted i den, hvor AI plejer at tage fejl. Brug dine egne filer.
Rolle
Opgaven
Hvor AI plejer at tage fejl
Salg
Forbered en samtale med en navngiven kunde ud fra dens website, noterne fra sidste samtale og CRM-historikken.
AI’en fylder huller om kunden ud med ting der lyder rigtige, men ikke er det.
Rekruttering og HR
Skriv et jobopslag og en screeningsplan ud fra en ansættende leders noter og lønrammen.
Et krav der ikke burde være der, eller formuleringer AI’en tilføjer, som indsnævrer hvem der søger.
Kundesupport
Besvar fem henvendelser ud fra hjælpecentret og refusionspolitikken.
AI’en lover noget politikken ikke tillader.
Drift
Lav et rodet procesdokument og en måneds forespørgsler om til en tjekliste teamet kan følge.
Et trin der kun optræder i én forespørgsel, eller en regel AI’en finder på for at fylde et hul.
Jura og compliance
Opsummer hvad der ændrer sig i en ny leverandørkontrakt i forhold til den gamle.
En ændring i én klausul som AI’ens resumé udelader.
Et testresultat for AI-kompetencer, for en økonomirolle
Briefet: ”Kontroller sidste kvartals 400 leverandørfakturaer mod seks kontrakter, og find ud af hvor I bliver overfaktureret.” Lemonsignal læste seks kompetencer ud af kandidatens samtale med ChatGPT, og hvert niveau linker til den omgang, det kommer fra.
LemonsignalAlex Morgan
Alex MorganFinance operations analyst · Opgave: Find overfaktureringen · ChatGPT · 2 t 15 min
Kontrolleret af Lemonsignal
72 %Godt match, ét åbent spørgsmål
Fik AI’en til at opliste kontraktvilkårene, før fakturaerne blev afstemt.
Regnede totalen efter i hånden i stedet for at stole på AI’ens.
Lod fortrolige oplysninger stå i resuméet.
ForståSolidLæste de seks kontrakter, før de bad om noget.Omgang 2
BriefeStærkFik den til først at opliste alle prisvilkår fra kontrakterne og derefter afstemme én leverandør ad gangen.Omgang 3
KontrollereStærkRegnede to leverandører efter i hånden mod kontrakterne og rettede totalen.Omgang 14, 17
RetteSolidSagde hvilket kontraktvilkår totalen manglede.Omgang 15
GodkendeDelvisEt klart resumé til CFO’en, men med leverandørernes bankoplysninger stadig i.
GenbrugeSolidKørte dette kvartals fakturaer med samme prompt.
Kompetencer til jobbet
At læse kontraktvilkårOver niveau
At afstemme præcistPå niveau
At håndtere fortrolige dataUnder niveau
Det de afleverede, sådan som de afleverede det. Hver markering er en kompetence fra deres resultat.
GodkendeDelvis
Til CFO’enVi blev overfaktureret 48.210 € sidste kvartal
23 af 400 fakturaer stemmer ikke med kontrakten.
Tre leverandører står for 45.300 € af det: Nordfrakt, Brekke Pack og Solvik IT.
Jeg foreslår at vi beder hver af dem om en kreditnota. Fakturalisten pr. leverandør er vedhæftet.
Dette kvartals fakturaer får samme kontrol, før vi betaler dem.
Spørgsmål om tests af AI-kompetencer til ikke-tekniske roller
Kan du teste AI-kompetencer i ikke-tekniske roller?
Ja. Giv kandidaten en rigtig opgave fra jobbet, for eksempel at planlægge et budget, afstemme fakturaer eller besvare supporthenvendelser, i ChatGPT eller Claude. Læs derefter deres samtale med AI’en og det de afleverer. De seks kompetencer er de samme som for udviklere; opgaven skifter.
Skal kandidater have tekniske kompetencer til en test af AI-kompetencer?
Nej. I ikke-tekniske roller handler opgaven om dokumenter, regneark og nettet og løses i et chatværktøj som ChatGPT eller Claude Cowork. Intet kræver kode.
Hvilke AI-kompetencer betyder mest i ikke-tekniske roller?
Først og fremmest kontrol. I ikke-teknisk arbejde går intet i stykker, når AI tager fejl: et opdigtet tal læser lige så godt som et rigtigt. Dernæst godkendelse: det de sender, bliver ofte brugt uden at nogen kontrollerer det igen.
Er en quiz om AI-forståelse nok til ikke-teknisk personale?
Til træning kan det være en start. Til ansættelser fortæller den dig hvad nogen ved om AI, ikke om de opdager det, når den tager fejl i rigtigt arbejde.
Påvirker sproglig kvalitet eller flydende engelsk scoren?
Det bør det ikke, og i Lemonsignal gør det det aldrig. Flot sprog er let at få fra AI. Det der betyder noget, er om det de afleverer, er rigtigt og klar til læseren.
Hvilke roller har Lemonsignal færdige opgaver til?
Marketing, økonomi, produkt, design og data, ud over udvikling. Til andre roller medbringer du et stykke rigtigt arbejde, og så laver vi det om til en opgave sammen med dig.
