KI-Kompetenzen bewerten in nicht-technischen Rollen.
Derselbe Test wie für Engineers, ohne Code. Geben Sie einer Marketerin, einer Finanzkraft oder einem Recruiter eine echte Aufgabe aus dem Job in ChatGPT oder Claude und sehen Sie, ob sie merken, wenn die KI falschliegt.
Warum KI-Kompetenzen außerhalb des Engineering testen?
Die meiste KI-Nutzung bei der Arbeit ist kein Code. Im Work Trend Index 2024 von Microsoft und LinkedIn gaben 75 % der Wissensarbeiter an, KI bei der Arbeit zu nutzen, und 78 % von ihnen bringen ihre eigenen KI-Tools mit (Microsoft). Ihre nächste Einstellung im Marketing oder in den Finanzen wird also wahrscheinlich einen Großteil der Arbeit mit KI erledigen, ob Sie es testen oder nicht.
Das Risiko ist leise
Wenn KI beim Code danebenliegt, geht oft etwas kaputt. Wenn sie bei einem Budget, einer Vertragszusammenfassung oder einer Kunden-E-Mail danebenliegt, passiert nichts. Es liest sich genauso gut, und jemand handelt danach.
Die Kompetenz ist dieselbe
Die Aufgabe verstehen, die KI briefen, prüfen, was zurückkommt, es korrigieren und Arbeit abgeben, die stimmt. Nur die Aufgabe und das Tool ändern sich.
Wie sich ein Test zu KI-Kompetenzen für nicht-technische Rollen unterscheidet
Technische Rollen
Nicht-technische Rollen
Das KI-Tool
Claude Code oder Codex, direkt im Code
ChatGPT oder Claude Cowork, mit Dokumenten, Tabellen und dem Web
Wenn KI falschliegt
Oft geht etwas kaputt: Ein Test schlägt fehl, der Code läuft nicht
Meist geht nichts kaputt. Eine erfundene Zahl oder eine falsche Aussage liest sich so gut wie eine richtige
Was Prüfen bedeutet
Die Tests laufen lassen
Jede Zahl und jede Aussage auf ihre Quelle zurückführen
Was sie abgeben
Eine Änderung, die jemand prüft
Eine E-Mail, einen Plan oder eine Zusammenfassung, nach der jemand handelt, oft ohne sie noch einmal zu prüfen
Die sechs Kompetenzen
Dasselbe
Dasselbe
Vier Regeln für einen Test zu KI-Kompetenzen in nicht-technischen Rollen
1Nutzen Sie eine Aufgabe aus dem Job, mit echten Dateien.Dokumente, Tabellen, Notizen, eine Richtlinie. Kein Quiz über KI und nichts, das Code braucht.
2Lassen Sie sie das KI-Tool nutzen, das sie ohnehin nutzen.ChatGPT, Claude oder Claude Cowork. Ein neues Tool zu erzwingen testet das Tool, nicht die Person.
3Sagen Sie, dass KI erwartet wird.Wer unsicher ist, ob KI erlaubt ist, verbirgt, wie er arbeitet, oder macht es von Hand.
4Lesen Sie die Unterhaltung und die Arbeit.Bewerten Sie, wie gebrieft, geprüft und korrigiert wurde, nicht wie geschliffen der Text ist.
Tests zu KI-Kompetenzen für Marketing, Finanzen, Vertrieb, HR und Operations
Lemonsignal hat eine echte Aufgabe für jede dieser Rollen, bearbeitet im eigenen KI-Tool des Kandidaten, mit einer ersten Einschätzung von Lemonsignal, die Ihr Team prüft.
Ideen für Tests zu KI-Kompetenzen in anderen Rollen
Für Rollen, für die wir keine fertige Aufgabe haben, sind das Ideen zum Start: eine echte Aufgabe und die Art Stelle, an der KI darin oft danebenliegt. Nutzen Sie Ihre eigenen Dateien.
Rolle
Die Aufgabe
Wo KI oft danebenliegt
Vertrieb
Bereiten Sie ein Gespräch mit einem bestimmten Account vor, anhand seiner Website, der Notizen zum letzten Gespräch und der CRM-Historie.
Die KI füllt Lücken über den Account mit Dingen, die richtig klingen und es nicht sind.
Recruiting und HR
Schreiben Sie eine Stellenanzeige und einen Screening-Plan aus den Notizen eines Hiring Managers und dem Gehaltsband.
Eine Anforderung, die dort nicht hingehört, oder Formulierungen der KI, die einschränken, wer sich bewirbt.
Kundensupport
Beantworten Sie fünf Tickets anhand des Hilfecenters und der Erstattungsrichtlinie.
Die KI verspricht etwas, das die Richtlinie nicht erlaubt.
Operations
Machen Sie aus einem unordentlichen Prozessdokument und einem Monat voller Anfragen eine Checkliste, der das Team folgen kann.
Ein Schritt, der nur in einer Anfrage vorkommt, oder eine Regel, die die KI erfindet, um eine Lücke zu füllen.
Recht und Compliance
Fassen Sie zusammen, was sich in einem neuen Lieferantenvertrag gegenüber dem alten ändert.
Eine Änderung in einer Klausel, die die Zusammenfassung der KI auslässt.
Ein Ergebnis einer Bewertung von KI-Kompetenzen, für eine Finanzposition
Das Briefing: „Prüfen Sie die 400 Lieferantenrechnungen des letzten Quartals gegen sechs Verträge und finden Sie heraus, wo Ihnen zu viel berechnet wird.“ Lemonsignal hat sechs Kompetenzen aus der Unterhaltung des Kandidaten mit ChatGPT abgelesen, und jede Stufe ist mit dem Schritt verlinkt, aus dem sie stammt.
LemonsignalAlex Morgan
Alex MorganAnalyst Finance Operations · Aufgabe: Die Überberechnung finden · ChatGPT · 2 h 15 min
Geprüft von Lemonsignal
72 %Gute Passung, eine offene Frage
Ließ die KI die Vertragsbedingungen auflisten, bevor die Rechnungen abgeglichen wurden.
Hat die Summe von Hand nachgerechnet, statt der Summe der KI zu vertrauen.
Hat vertrauliche Angaben in der Zusammenfassung gelassen.
VerstehenSolideLas die sechs Verträge, bevor nach irgendetwas gefragt wurde.Schritt 2
BriefenStarkLieß sie zuerst jede Preisbedingung aus den Verträgen auflisten und dann einen Lieferanten nach dem anderen abgleichen.Schritt 3
PrüfenStarkRechnete zwei Lieferanten von Hand gegen die Verträge nach und korrigierte die Summe.Schritte 14, 17
KorrigierenSolideSagte, welche Vertragsbedingung in der Summe fehlte.Schritt 15
FreigebenTeilweiseEine klare Zusammenfassung für den CFO, in der noch die Bankdaten der Lieferanten standen.
WiederverwendenSolideHat die Rechnungen dieses Quartals mit demselben Prompt geprüft.
Fachliche Kompetenzen
Vertragsbedingungen lesenÜber der Messlatte
Genau abgleichenAuf der Messlatte
Mit vertraulichen Daten umgehenUnter der Messlatte
Was sie abgegeben haben, so wie sie es abgegeben haben. Jede Markierung ist eine Kompetenz aus ihrem Ergebnis.
FreigebenTeilweise
An den CFOUns wurden im letzten Quartal 48.210 € zu viel berechnet
23 von 400 Rechnungen passen nicht zu ihrem Vertrag.
Drei Lieferanten machen 45.300 € davon aus: Nordfrakt, Brekke Pack und Solvik IT.
Ich schlage vor, dass wir von jedem eine Gutschrift anfordern. Die Rechnungsliste je Lieferant ist angehängt.
Die Rechnungen dieses Quartals bekommen dieselbe Prüfung, bevor wir sie bezahlen.
Fragen zur Bewertung von KI-Kompetenzen in nicht-technischen Rollen
Kann man KI-Kompetenzen in nicht-technischen Rollen testen?
Ja. Geben Sie dem Kandidaten eine echte Aufgabe aus dem Job, etwa ein Budget planen, Rechnungen abgleichen oder Support-Tickets beantworten, in ChatGPT oder Claude. Lesen Sie dann seine Unterhaltung mit der KI und das, was er abgibt. Die sechs Kompetenzen sind dieselben wie bei Engineers, nur die Aufgabe ändert sich.
Brauchen Kandidaten technische Kenntnisse für eine Bewertung von KI-Kompetenzen?
Nein. Für nicht-technische Rollen besteht die Aufgabe aus Dokumenten, Tabellen und dem Web, bearbeitet in einem Chat-Tool wie ChatGPT oder Claude Cowork. Nichts davon braucht Code.
Welche KI-Kompetenzen zählen in nicht-technischen Rollen am meisten?
Vor allem das Prüfen. In nicht-technischer Arbeit geht nichts kaputt, wenn KI falschliegt: Eine erfundene Zahl liest sich so gut wie eine richtige. Dann das Freigeben: Nach dem, was verschickt wird, wird oft gehandelt, ohne dass es noch jemand prüft.
Reicht ein Quiz zum KI-Grundwissen für nicht-technische Mitarbeitende?
Für Schulungen kann es ein Anfang sein. Für die Einstellung sagt es Ihnen, was jemand über KI weiß, nicht ob er merkt, wenn sie bei echter Arbeit falschliegt.
Beeinflussen Textqualität oder Englischkenntnisse die Bewertung?
Das sollten sie nicht, und bei Lemonsignal tun sie es nie. Geschliffene Texte bekommt man leicht von der KI. Es zählt, ob das, was abgegeben wird, stimmt und für die Lesenden bereit ist.
Für welche Rollen hat Lemonsignal fertige Aufgaben?
Marketing, Finanzen, Produkt, Design und Daten sowie Engineering. Für andere Rollen bringen Sie ein Stück echte Arbeit mit, und wir machen gemeinsam mit Ihnen eine Aufgabe daraus.
