Samma test som för utvecklare, utan koden. Ge en marknadsförare, en ekonomiperson eller en rekryterare en riktig uppgift från jobbet i ChatGPT eller Claude, och se om hen märker när AI:n har fel.
Varför testa AI-kompetens utanför utveckling?
Det mesta av AI-användningen på jobbet är inte kod. I Microsofts och LinkedIns Work Trend Index 2024 sa 75 % av kunskapsarbetarna att de använder AI på jobbet, och 78 % av dem tar med egna AI-verktyg (Microsoft). Så din nästa rekrytering inom marknadsföring eller ekonomi kommer troligen att göra mycket av jobbet med AI, oavsett om du testar för det eller inte.
Risken är tyst
När AI får kod fel går ofta något sönder. När den får en budget, en avtalssammanfattning eller ett kundmejl fel händer ingenting. Det läses lika bra, och någon agerar på det.
Färdigheten är densamma
Förstå uppgiften, briefa AI:n, kontrollera det som kommer tillbaka, rätta till det och lämna över arbete som stämmer. Bara uppgiften och verktyget ändras.
Så skiljer sig ett test av AI-kompetens för icke-tekniska roller
Tekniska roller
Icke-tekniska roller
AI-verktyget
Claude Code eller Codex, som arbetar i koden
ChatGPT eller Claude Cowork, som arbetar med dokument, kalkylblad och webben
När AI har fel
Ofta går något sönder: ett test misslyckas, koden går inte att köra
Oftast går inget sönder. En påhittad siffra eller ett felaktigt påstående läses lika bra som ett korrekt
Vad kontroll betyder
Köra testerna
Spåra varje siffra och påstående tillbaka till källan
Vad de lämnar över
En ändring som någon granskar
Ett mejl, en plan eller en sammanfattning som någon agerar på, ofta utan att kontrollera igen
De sex färdigheterna
Samma
Samma
Fyra regler för ett icke-tekniskt test av AI-kompetens
1Använd en uppgift från jobbet, med riktiga filer.Dokument, kalkylblad, anteckningar, en policy. Ingen frågesport om AI, och inget som kräver kod.
2Låt dem använda det AI-verktyg de redan använder.ChatGPT, Claude eller Claude Cowork. Att tvinga fram ett nytt verktyg testar verktyget, inte personen.
3Säg att AI förväntas.Den som är osäker på om AI är tillåtet döljer hur hen arbetar, eller gör det för hand.
4Läs konversationen och arbetet.Bedöm hur de briefade, kontrollerade och rättade, inte hur polerad texten är.
Test av AI-kompetens för marknadsföring, ekonomi, försäljning, HR och verksamhet
För roller där vi inte har en färdig uppgift är det här idéer att utgå från: en riktig uppgift, och den typ av ställe där AI brukar gå fel. Använd dina egna filer.
Roll
Uppgiften
Där AI brukar gå fel
Försäljning
Förbered ett samtal med en namngiven kund, utifrån webbplatsen, anteckningarna från senaste samtalet och CRM-historiken.
AI:n fyller luckor om kunden med sådant som låter rätt men inte är det.
Rekrytering och HR
Skriv en jobbannons och en plan för screening utifrån en rekryterande chefs anteckningar och lönespannet.
Ett krav som inte borde finnas där, eller formuleringar AI:n lägger till som begränsar vilka som söker.
Kundsupport
Svara på fem ärenden utifrån hjälpcentret och återbetalningspolicyn.
AI:n lovar något som policyn inte tillåter.
Verksamhet
Gör om ett rörigt processdokument och en månads förfrågningar till en checklista som teamet kan följa.
Ett steg som bara finns i en förfrågan, eller en regel AI:n hittar på för att fylla en lucka.
Juridik och compliance
Sammanfatta vad som ändras i ett nytt leverantörsavtal jämfört med det gamla.
En ändring i en klausul som AI:ns sammanfattning utelämnar.
Ett resultat från ett test av AI-kompetens, för en ekonomiroll
Briefen: ”Kontrollera förra kvartalets 400 leverantörsfakturor mot sex avtal och hitta var ni blir överfakturerade.” Lemonsignal avläste sex färdigheter från kandidatens konversation med ChatGPT, och varje nivå länkar till omgången den kommer från.
LemonsignalAlex Morgan
Alex MorganFinance operations analyst · Uppgift: Hitta överfaktureringen · ChatGPT · 2 h 15 min
Kontrollerat av Lemonsignal
72 %Bra matchning, en öppen fråga
Lät AI:n lista avtalsvillkoren innan fakturorna matchades.
Räknade om totalen för hand i stället för att lita på AI:ns.
Lämnade konfidentiella uppgifter i sammanfattningen.
FörståStabilLäste de sex avtalen innan de bad om något.Omgång 2
BriefaStarkLät den först lista varje prisvillkor från avtalen, och sedan matcha en leverantör i taget.Omgång 3
KontrolleraStarkRäknade om två leverantörer för hand mot avtalen, och rättade totalen.Omgång 14, 17
KorrigeraStabilSa vilket avtalsvillkor totalen missade.Omgång 15
GodkännaDelvisEn tydlig sammanfattning för CFO:n, med leverantörernas bankuppgifter kvar i den.
ÅteranvändaStabilKörde det här kvartalets fakturor med samma prompt.
Färdigheter för jobbet
Läsa avtalsvillkorÖver ribban
Stämma av korrektPå ribban
Hantera konfidentiella uppgifterUnder ribban
Det de lämnade in, så som de lämnade in det. Varje markering är en färdighet från deras resultat.
GodkännaDelvis
Till CFO:nVi överfakturerades 48 210 € förra kvartalet
23 av 400 fakturor stämmer inte med avtalet.
Tre leverantörer står för 45 300 € av det: Nordfrakt, Brekke Pack och Solvik IT.
Jag föreslår att vi ber var och en om en kreditnota. Fakturalistan per leverantör är bifogad.
Det här kvartalets fakturor får samma kontroll innan vi betalar dem.
Frågor om test av AI-kompetens för icke-tekniska roller
Kan du testa AI-kompetens för icke-tekniska roller?
Ja. Ge kandidaten en riktig uppgift från jobbet, till exempel att planera en budget, stämma av fakturor eller svara på supportärenden, i ChatGPT eller Claude. Läs sedan konversationen med AI:n och det hen lämnar in. De sex färdigheterna är desamma som för utvecklare; uppgiften ändras.
Behöver kandidater teknisk kompetens för ett test av AI-kompetens?
Nej. För icke-tekniska roller handlar uppgiften om dokument, kalkylblad och webben, gjord i ett chattverktyg som ChatGPT eller Claude Cowork. Inget kräver kod.
Vilken AI-kompetens spelar störst roll för icke-tekniska roller?
Framför allt att kontrollera. I icke-tekniskt arbete går inget sönder när AI har fel: en påhittad siffra läses lika bra som en korrekt. Sedan att godkänna: det de skickar blir ofta agerat på utan att någon kontrollerar igen.
Räcker en frågesport om AI-kunnighet för icke-teknisk personal?
För utbildning kan det vara en början. För rekrytering säger det vad någon vet om AI, inte om hen märker när AI har fel i riktigt arbete.
Påverkar textkvalitet eller flytande engelska poängen?
Det ska det inte, och i Lemonsignal gör det aldrig det. Polerad text är lätt att få av AI. Det som spelar roll är om det de lämnar över stämmer och är klart för sin läsare.
Vilka roller har Lemonsignal färdiga uppgifter för?
Marknadsföring, ekonomi, produkt, design och data, liksom utveckling. För andra roller, ta med ett riktigt arbete så gör vi en uppgift av det tillsammans med dig.
