Kandidaten bearbeiten eine echte Aufgabe aus dem Job mit dem KI-Tool, das sie ohnehin nutzen. Wir zeichnen ihre ganze Unterhaltung mit der KI auf, bewerten daraus sechs Kompetenzen und verlinken jede Bewertung mit der genauen Nachricht, auf der sie beruht. Unten: was wir messen, wie eine Stufe vergeben wird, und ein vollständiges Beispiel.
KI-Kompetenzen sind das, was eine Person tut, um aus einem KI-Tool gute Arbeit herauszuholen. Wir nennen sechs: die Aufgabe verstehen, bevor man sie abgibt, die KI briefen, prüfen, was sie liefert, sie korrigieren, wenn sie falschliegt, versandfertige Arbeit freigeben und es wiederholbar machen.
Geben Sie der Person eine echte Aufgabe aus dem Job und lassen Sie sie das KI-Tool nutzen, das sie ohnehin nutzt. Lesen Sie dann die ganze Unterhaltung, nicht nur das Ergebnis. Die Kompetenzen zeigen sich darin, was gefragt, was geprüft und was geändert wurde.
KI ist der schnellste und selbstsicherste Junior-Kollege, den Sie je hatten. Wir testen, wie gut Menschen ihn führen.
Eine Bewertung misst zwei Dinge:
1. KI-KompetenzenWie gut arbeiten sie mit KI? Sechs Kompetenzen, abgelesen daran, wie sie eine längere, echte Aufgabe aus dem Job erledigen. Bewertet von Schwach bis Stark.
2. Fachliche KompetenzenIst die Arbeit selbst gut? Zwei oder drei Kompetenzen für die Rolle, abgelesen an derselben Aufgabe. Bewertet als unter, auf oder über der Messlatte.
Abgelesen an einer echten Aufgabe für die Rolle. Für jede Kompetenz: die Frage, die sie beantwortet, wie schwache und starke Arbeit aussieht, und ein echtes Beispiel für etwas, auf das Sie in der Sitzung zeigen können.
Verstehen sie die Aufgabe, bevor sie sie an die KI geben?
Fragt zuerst nach der Antwort. Nimmt das Briefing, wie es ist.
Liest zuerst das Material. Zerlegt das Problem. Merkt, wenn das Briefing falsch ist.
Hat sich die Daten angesehen, bevor nach einer Antwort gefragt wurde.
Geben sie der KI, was sie braucht?
Fügt alles ein und sagt „mach das“.
Gibt Kontext, Grenzen, Beispiele und was als fertig gilt. Behält die Ermessensentscheidungen.
Hat der KI gesagt, nur die Zahlen aus den Dateien zu verwenden.
Merken sie, wenn die KI falschliegt?
Liefert, was fertig aussieht.
Prüft gegen die Quelle. Findet die erfundene Tatsache und die falsche Zahl.
Hat die Summe mit der Zahl der Finanzabteilung abgeglichen.
Bessern sie nach, wenn es nicht funktioniert?
„Noch mal“, „mach es besser“, in Dauerschleife.
Sagt, was falsch ist und warum. Ändert früh den Ansatz.
Hat bei einer falschen Abfrage gesagt, was daran falsch war.
Ist das, was sie abgeben, versandfertig?
Füllwörter, zu lang, ungeprüfte Behauptungen.
Bereit für die Lesenden. Sagt, was geprüft wurde und was nicht. Hält vertrauliche Daten heraus.
Fünf Zeilen, wie verlangt, mit genannten Annahmen.
Machen sie es wiederholbar?
Macht die Arbeit jedes Mal wieder von Hand.
Gespeicherte Prompts, Skills, Workflows und Automationen. Der nächste Durchlauf ist schneller und gleich.
Hat die nächsten zwei Quartale auf dieselbe Weise erledigt, ohne neu anzufangen.
Prompting, Iterieren, Prüfen auf Halluzinationen: KI-Kompetenzen haben viele Namen. Jeder gängige Begriff wird von einer unserer sechs Kompetenzen abgedeckt. Wenn Ihr Unternehmen eine eigene Liste von KI-Kompetenzen hat, ordnen Sie sie mit dieser Tabelle unseren zu.
| Gängiger Begriff | Bewertet unter |
|---|---|
| Entscheiden, wobei KI helfen kann | Briefen |
| Die Aufgabe in Schritte zerlegen | Verstehen |
| Prompting: Ziel, Kontext, Grenzen, Format, Beispiele, was als fertig gilt | Briefen |
| Iterieren | Korrigieren |
| Verifizierung, Fehler, Halluzinationen und Verzerrungen | Prüfen |
| Sicherheit, Datenschutz, Vertraulichkeit und Compliance | Freigeben |
| Wiederverwendbare Prompts, Workflows, Skills, Agenten und Automationen | Wiederverwenden |
| Vorlagen und Standards für das Team | Wiederverwenden |
| Tools und Daten verbinden | Wiederverwenden, sowie die Aufgaben mit Web und Tabellen |
| Kritisches Denken | Alle sechs. Es ist zu breit, um es allein zu bewerten, also bewerten wir es dort, wo es sich zeigt. |
| Den Mehrwert von KI über die Zeit messen | Nicht bewertet. Eine einzelne Arbeit kann das nicht zeigen. |
Gut mit KI zu sein reicht nicht, wenn die Arbeit falsch ist. In einer vollständigen Bewertung liest Lemonsignal an derselben Arbeit auch zwei oder drei Kompetenzen für die Rolle ab. Jede wird als unter, auf oder über der Messlatte markiert.
Fachliche Kompetenzen für jede RolleJede Aufgabe hat einen Bewertungsbogen, der geschrieben wird, bevor irgendein Kandidat sie bearbeitet. Für jede Kompetenz nennt der Bogen zwei oder drei Prüfpunkte: konkrete Dinge, die gute Arbeit tut, etwa „hat die Summe mit einer zweiten Quelle abgeglichen“. Lemonsignal markiert, welche Prüfpunkte der Kandidat erfüllt hat, und wo. Die Stufe ergibt sich dann aus den Regeln unten, für jeden Kandidaten gleich. Gibt es keinen Moment, auf den man zeigen kann, wird keine Stufe vergeben.
Jede Kompetenz bringt Punkte: Schwach 0, Teilweise 1, Solide 2, Stark 3. Die Bewertung ist der Anteil der erreichten an den möglichen Punkten. Solide in allen sechs ergibt 12 von 18, also 67 %. Eine nicht getestete Kompetenz bleibt aus beidem heraus und kann die Bewertung also nicht senken.
Die Bewertung zeigt die Gesamtstärke. Die Empfehlung stellt eine andere Frage: Erfüllt diese Person, was die Rolle braucht? Jede Rolle hat Muss-Kriterien, zum Beispiel Prüfen auf Solide oder besser für einen Datenanalysten. Wird eines verfehlt, lautet das Ergebnis Unter der Messlatte, auch bei hoher Bewertung. Sie können die Muss-Kriterien ändern, bevor Sie die Aufgabe senden. Es ist eine Empfehlung: Die Entscheidung trifft Ihr Team.
Jede Stufe beruht auf einer von vier Arten von Belegen. Lemonsignal findet die relevanten Momente, zitiert sie und gibt die erste Einschätzung; Ihr Team prüft sie. Ein Moment wird durch seinen Schritt in der Unterhaltung markiert („Schritt 14“ ist die 14. Nachricht), nicht durch die Uhrzeit, weil die meisten Kandidaten in mehr als einer Sitzung arbeiten.
| Beleg | Zum Beispiel | So wird bewertet |
|---|---|---|
| Bekannte KI-Fehler, in die Aufgabe eingebaut | Jede Aufgabe hat eine Stelle, an der KI meist danebenliegt. Ist dieser Fehler in der abgegebenen Arbeit gelandet? | Automatisch geprüft: ja oder nein. |
| Die Unterhaltung mit der KI | Hat sich die Daten angesehen, bevor nach einer Antwort gefragt wurde. | Lemonsignal findet den Moment und vergibt eine erste Stufe. Ihr Team prüft sie. |
| Was abgegeben wurde | Fünf Zeilen, wie verlangt, mit genannten Annahmen. | Lemonsignal, anhand des Bewertungsbogens. Ihr Team prüft es. |
| Was gebaut wurde | Ein gespeicherter Prompt, ein Skill, ein Skript oder ein Workflow. | Lemonsignal, anhand des Bewertungsbogens. Ihr Team prüft es. |
Der echte Bewertungsbogen für eine Aufgabe, die des Datenanalysten. Der Kandidat bekommt dieses Briefing: „Das Dashboard zeigt im März 12 % weniger Umsatz. Erklären Sie dem CFO in fünf Zeilen, warum. Dann Q2 und Q3.“ Die Dateien, die er bekommt, enthalten alles, um die Antwort zu prüfen. Im Bogen ist jede Zeile eine Kompetenz. Wer jeden Prüfpunkt in der mittleren Spalte erfüllt, ist Solide; wer zusätzlich den rechten erfüllt, ist Stark.
| Kompetenz | Prüfpunkte für Solide | Zusätzlicher Prüfpunkt für Stark |
|---|---|---|
| Verstehen | Hat sich die Daten angesehen, bevor nach einer Antwort gefragt wurde. Hat geprüft, wie das Dashboard Umsatz definiert. | Hat die Zahl des Dashboards hinterfragt, bevor er sie erklärte, und daraus die Frage gemacht. |
| Briefen | Hat der KI die Tabellen und die Definition gegeben. Hat ihr gesagt, nur diese Zahlen zu verwenden. | Hat die Schlussfolgerung selbst gezogen; die KI hat die Abfragen gemacht. |
| Prüfen | Hat die Abfrage der KI geprüft, bevor ihre Zahl verwendet wurde. Hat die Summe mit einer zweiten Quelle abgeglichen. | Hat einen zweiten Monat geprüft, um einen Einmaleffekt auszuschließen. |
| Korrigieren | Hat bei einer falschen Abfrage gesagt, was falsch war. | Hat eine Prüfung ergänzt, damit es nicht wieder passiert. |
| Freigeben | Fünf Zeilen, wie verlangt. Keine Aussage ohne Quelle. Annahmen genannt. | Hat genannt, was noch ungeprüft ist. |
| Wiederverwenden | Hat Q2 und Q3 auf dieselbe Weise erledigt, ohne es von Hand neu zu machen. | Hat den Prompt, den Skill oder die Abfrage abgegeben, die er gebaut hat. |
Das Ergebnis, das dieser Bogen für einen Kandidaten ergeben hat. Jede Stufe ist mit dem Schritt verlinkt, aus dem sie stammt.
Was er abgegeben hat, so wie er es abgegeben hat. Jede Markierung ist eine Kompetenz aus seinem Ergebnis.
Wegen der Preisänderung am 1. März.
| Monat | Umsatz (Tsd. €) | Veränderung |
|---|---|---|
| Januar | 1,212 | |
| Februar | 1,240 | +2.3% |
| März | 1,091 | −12.0% |
| April | 1,118 | +2.5% |
| Mai | 1,152 | +3.0% |
| Juni | 1,139 | −1.1% |
| Juli | 1,101 | −3.3% |
| August | 1,087 | −1.3% |
| September | 1,164 | +7.1% |
Lemonsignal gibt eine erste Einschätzung jeder Sitzung. Ihre Hiring-Managerin, Ihr Hiring-Manager oder Ihr Recruiting sieht sich die Sitzung an, prüft die Einschätzung und kann Kommentare ergänzen. Sie entscheiden. Wir schreiben die Aufgaben und die Bewertungsbögen.
Der Bewertungsbogen wird geschrieben, bevor jemand die Aufgabe bearbeitet, sodass für jeden Kandidaten derselbe Maßstab gilt. Jede Stufe ist mit dem Moment verlinkt, auf dem sie beruht, sodass Sie jede Bewertung selbst prüfen können.
Wir prüfen, ob die Person, die die Aufgabe bearbeitet, die Person ist, der Sie sie geschickt haben. Was abgegeben wird, muss zur Unterhaltung mit der KI passen. Und die Interviewfrage zielt auf einen bestimmten Moment, was für Arbeit, die man nicht selbst gemacht hat, schwer zu beantworten ist.
Wir zeichnen die Unterhaltung mit dem KI-Tool auf, die abgegebene Arbeit und alles, was dafür gebaut wurde. Ihr Hiring-Team und der Kandidat können es sehen. Alles wird in der EU gespeichert und gemäß DSGVO verarbeitet.
Lemonsignal liest die ganze Unterhaltung, markiert die entscheidenden Momente und gibt eine erste Einschätzung. Jede Stufe ist mit dem Moment verlinkt, aus dem sie stammt. Ihr Hiring-Team sieht sich die Sitzung an, prüft die Einschätzung, ergänzt Kommentare und entscheidet.
Ergebnisse für dieselbe Aufgabe werden anhand desselben Bogens bewertet und sind daher vergleichbar. Eine andere Aufgabe oder Ihre eigene Aufgabe hat einen eigenen Bogen.
Nennen Sie im Briefing, welche Tools zu nutzen sind. Nutzt er ein anderes, können wir die Unterhaltung eventuell nicht lesen, und die Kompetenzen, die davon abhängen, gelten als Nicht getestet statt abgewertet zu werden.
Geben Sie eine echte Aufgabe aus dem Job, lassen Sie das eigene KI-Tool nutzen und lesen Sie danach die Unterhaltung. Fragen Sie dann nach einem Moment darin: warum eine Zahl vertrauenswürdig schien oder warum das Briefing geändert wurde. Wer Menschen beschreiben lässt, wie sie KI nutzen, sieht, wie gut sie darüber reden, nicht wie gut sie es tun.
Wenn sie im Job KI nutzen werden, ja. Ein Verbot testet eine Arbeitsweise, die sie nicht nutzen werden. KI zu erlauben, ohne die Unterhaltung zu lesen, ist der andere Fehler: Sie sehen eine fertige Arbeit und können nicht erkennen, wer gedacht hat.
Auf dieselben sechs. Eine Marketerin prüft eine Zahl, die die KI erfunden hat; ein Engineer prüft einen Fix, der richtig aussieht und es nicht ist. Was sich von Rolle zu Rolle ändert, ist die Aufgabe, nicht die Kompetenzen.
Die Bewertung mittelt die sechs Kompetenzen. Die Empfehlung prüft, was die Rolle braucht. Eine hohe Bewertung mit einem Muss-Kriterium unter der Messlatte ist keine Passung, und das Ergebnis sagt, um welche Kompetenz es geht.
Sehen Sie, wie Kandidaten wirklich mit KI arbeiten.