Les candidats font une vraie tâche du poste avec l’outil d’IA qu’ils utilisent déjà. Nous enregistrons toute leur conversation avec l’IA, nous en tirons une note sur six compétences, et nous relions chaque note au message exact sur lequel elle repose. Ci-dessous : ce que nous mesurons, comment un niveau est attribué et un exemple complet.
Les compétences en IA, c’est ce que fait une personne pour obtenir un bon travail d’un outil d’IA. Nous en nommons six : comprendre la tâche avant de la confier, briefer l’IA, vérifier ce qu’elle renvoie, la corriger quand elle se trompe, valider un travail prêt à être envoyé et le rendre reproductible.
Donnez à la personne une vraie tâche du poste et laissez-la utiliser l’outil d’IA qu’elle utilise déjà. Lisez ensuite toute la conversation, pas seulement le résultat. Les compétences se voient dans ce qu’elle a demandé, vérifié et changé.
L’IA est le collègue junior le plus rapide et le plus sûr de lui que vous ayez jamais eu. Nous testons la façon dont les gens le managent.
Une évaluation mesure deux choses :
1. Compétences en IAComment travaillent-ils avec l’IA ? Six compétences, évaluées à partir de la façon dont ils font une vraie tâche du poste, plus longue. Notées de Faible à Fort.
2. Compétences du posteLe travail lui-même est-il bon ? Deux ou trois compétences du poste, évaluées à partir de la même tâche. Notées en dessous, au niveau ou au-dessus du niveau.
Évaluées à partir d’une vraie tâche du poste. Pour chaque compétence : la question à laquelle elle répond, à quoi ressemble un travail faible et un travail fort, et un vrai exemple de ce qu’on peut pointer dans la session.
Le candidat comprend-il la tâche avant de la confier à l’IA ?
Demande d’abord la réponse. Prend le brief tel quel.
Lit d’abord les documents. Décompose le problème. Repère quand le brief est faux.
A regardé les données avant de demander une réponse.
Donne-t-il à l’IA ce dont elle a besoin ?
Colle tout et dit « fais ça ».
Donne le contexte, les limites, des exemples et ce que veut dire « terminé ». Garde les décisions pour lui.
A dit à l’IA de n’utiliser que les chiffres des fichiers.
Repère-t-il les erreurs de l’IA ?
Livre ce qui a l’air fini.
Teste par rapport à la source. Repère le fait inventé et le chiffre faux.
A comparé le total au chiffre de la finance.
Rectifie-t-il le tir quand ça ne marche pas ?
« Réessaie », « fais mieux », en boucle.
Dit ce qui ne va pas et pourquoi. Change d’approche tôt.
Quand une requête était fausse, a dit ce qui n’allait pas.
Ce qu’il rend est-il prêt à être envoyé ?
Du remplissage, trop long, des affirmations que personne n’a vérifiées.
Prêt pour le lecteur. Dit ce qui a été vérifié et ce qui ne l’a pas été. Ne laisse pas passer de données confidentielles.
Cinq lignes, comme demandé, avec les hypothèses indiquées.
Rend-il le travail reproductible ?
Refait le travail à la main à chaque fois.
Prompts, skills, workflows et automatisations enregistrés. La fois suivante est plus rapide et donne le même résultat.
A fait les deux trimestres suivants de la même façon, sans tout recommencer.
Prompting, itération, vérification des hallucinations : les compétences en IA portent bien des noms. Chaque terme courant est couvert par l’une de nos six compétences. Si votre entreprise a sa propre liste de compétences en IA, utilisez ce tableau pour la faire correspondre à la nôtre.
| Terme courant | Noté sous |
|---|---|
| Décider ce pour quoi l’IA peut aider | Briefer |
| Décomposer la tâche en étapes | Comprendre |
| Prompting : objectif, contexte, limites, format, exemples, ce que veut dire « terminé » | Briefer |
| Itérer | Corriger |
| Vérification, erreurs, hallucinations et biais | Vérifier |
| Sécurité, protection des données, confidentialité et conformité | Valider |
| Prompts réutilisables, workflows, skills, agents et automatisations | Réutiliser |
| Modèles et standards pour l’équipe | Réutiliser |
| Connecter des outils et des données | Réutiliser, et les tâches web et tableur |
| Esprit critique | Les six. C’est trop large pour être noté seul, donc nous le notons là où il se manifeste. |
| Mesurer la valeur apportée par l’IA dans le temps | Non noté. Un seul travail ne peut pas le montrer. |
Être bon avec l’IA ne suffit pas si le travail est faux. Dans une évaluation complète, Lemonsignal évalue aussi deux ou trois compétences du poste, sur le même travail. Chacune est marquée en dessous, au niveau ou au-dessus du niveau.
Compétences du poste pour chaque fonctionChaque tâche a une grille d’évaluation, écrite avant qu’un candidat ne la fasse. Pour chaque compétence, la grille liste deux ou trois points de contrôle : des choses précises que fait un bon travail, comme « a comparé le total à une seconde source ». Lemonsignal marque les points de contrôle atteints par le candidat, et où. Le niveau découle ensuite des règles ci-dessous, les mêmes pour tous les candidats. S’il n’y a aucun moment à pointer, aucun niveau n’est attribué.
Chaque compétence rapporte des points : Faible 0, Partiel 1, Solide 2, Fort 3. La note correspond aux points obtenus sur les points possibles. Solide sur les six donne 12 sur 18, soit 67 %. Une compétence Non évaluée est exclue des deux, donc elle ne peut pas faire baisser la note.
La note montre la force globale. La recommandation pose une autre question : cette personne a-t-elle ce que le poste exige ? Chaque poste a ses indispensables, par exemple Vérifier à Solide ou plus pour un data analyst. S’il en manque un, le résultat est En dessous du niveau, même avec une note élevée. Vous pouvez modifier les indispensables avant d’envoyer la tâche. C’est une recommandation : votre équipe prend la décision.
Chaque niveau repose sur l’un des quatre types de preuves. Lemonsignal trouve les moments pertinents, les cite et donne la première lecture ; votre équipe la vérifie. Un moment est repéré par son tour dans la conversation (« Tour 14 » est le 14e message), pas par l’heure, car la plupart des candidats travaillent en plusieurs fois.
| Preuve | Par exemple | Comment c’est noté |
|---|---|---|
| Des erreurs connues de l’IA intégrées à la tâche | Chaque tâche comporte un endroit où l’IA se trompe en général. Cette erreur s’est-elle retrouvée dans le travail rendu ? | Vérifié automatiquement : oui ou non. |
| Leur conversation avec l’IA | A regardé les données avant de demander une réponse. | Lemonsignal trouve le moment et donne un premier niveau. Votre équipe le vérifie. |
| Ce qu’ils ont rendu | Cinq lignes, comme demandé, avec les hypothèses indiquées. | Lemonsignal, selon la grille d’évaluation. Votre équipe le vérifie. |
| Ce qu’ils ont construit | Un prompt enregistré, un skill, un script ou un workflow. | Lemonsignal, selon la grille d’évaluation. Votre équipe le vérifie. |
La vraie grille d’évaluation d’une tâche, celle du data analyst. Le candidat reçoit ce brief : « Le tableau de bord indique des revenus en baisse de 12 % en mars. Expliquez pourquoi au CFO en cinq lignes. Faites ensuite le T2 et le T3. » Les fichiers reçus contiennent tout ce qu’il faut pour vérifier la réponse. Dans la grille, chaque ligne est une compétence. Atteignez tous les points de contrôle de la colonne du milieu pour Solide ; atteignez aussi celui de droite pour Fort.
| Compétence | Points de contrôle pour Solide | Point de contrôle supplémentaire pour Fort |
|---|---|---|
| Comprendre | A regardé les données avant de demander une réponse. A vérifié comment le tableau de bord définit les revenus. | A remis en question le chiffre du tableau de bord avant de l’expliquer, et en a fait la question. |
| Briefer | A donné à l’IA les tables et la définition. Lui a dit de n’utiliser que ces chiffres. | A gardé la conclusion pour lui ; l’IA a fait les requêtes. |
| Vérifier | A vérifié la requête de l’IA avant d’utiliser son chiffre. A comparé le total à une seconde source. | A vérifié un second mois pour écarter un cas isolé. |
| Corriger | Quand une requête était fausse, a dit ce qui n’allait pas. | A ajouté un contrôle pour que cela ne se reproduise pas. |
| Valider | Cinq lignes, comme demandé. Aucune affirmation sans source. Hypothèses indiquées. | A nommé ce qui reste à vérifier. |
| Réutiliser | A fait le T2 et le T3 de la même façon, sans tout refaire à la main. | A rendu le prompt, le skill ou la requête construits. |
Le résultat produit par cette grille pour un candidat. Chaque niveau renvoie au tour dont il vient.
Ce qu’il a rendu, tel qu’il l’a rendu. Chaque repère correspond à une compétence de son résultat.
À cause du changement de prix du 1 mars.
| Mois | Revenus (k€) | Variation |
|---|---|---|
| Janvier | 1,212 | |
| Février | 1,240 | +2.3% |
| Mars | 1,091 | −12.0% |
| Avril | 1,118 | +2.5% |
| Mai | 1,152 | +3.0% |
| Juin | 1,139 | −1.1% |
| Juillet | 1,101 | −3.3% |
| Août | 1,087 | −1.3% |
| Septembre | 1,164 | +7.1% |
Lemonsignal donne une première lecture de chaque session. Votre manager ou votre recruteur regarde la session, vérifie cette lecture et peut ajouter des commentaires. C’est lui qui décide. Nous écrivons les tâches et les grilles d’évaluation.
La grille d’évaluation est écrite avant que quiconque ne fasse la tâche, donc tous les candidats sont jugés sur la même chose. Chaque niveau renvoie au moment sur lequel il repose, pour que vous puissiez vérifier n’importe quelle note vous-même.
Nous vérifions que la personne qui fait la tâche est bien celle à qui vous l’avez envoyée. Ce qu’elle rend doit correspondre à sa conversation avec l’IA. Et la question d’entretien porte sur un moment précis, ce à quoi il est difficile de répondre sur un travail qu’on n’a pas fait.
Nous enregistrons la conversation avec l’outil d’IA, le travail rendu et tout ce qui a été construit pour cela. Votre équipe de recrutement et le candidat peuvent le voir. Tout est stocké dans l’UE et traité conformément au RGPD.
Lemonsignal lit toute la conversation, repère les moments qui comptent et donne une première lecture. Chaque niveau renvoie au moment dont il vient. Votre équipe de recrutement regarde la session, vérifie cette lecture, ajoute des commentaires et décide.
Les résultats d’une même tâche sont notés selon la même grille, donc ils se comparent. Une autre tâche, ou votre propre tâche, a sa propre grille.
Indiquez dans le brief quels outils utiliser. S’il en utilise un autre, nous ne pourrons peut-être pas lire la conversation, et les compétences qui en dépendent sont Non évaluées plutôt que pénalisées.
Donnez-lui une vraie tâche du poste, laissez-le utiliser son propre outil d’IA et lisez la conversation ensuite. Posez alors une question sur un moment précis : pourquoi il a fait confiance à un chiffre, ou pourquoi il a changé le brief. Demander aux gens de décrire leur usage de l’IA montre comment ils en parlent, pas comment ils s’en servent.
S’ils utiliseront l’IA dans le poste, oui. L’interdire teste une façon de travailler qu’ils n’utiliseront pas. L’autoriser sans lire la conversation est l’autre erreur : vous voyez un travail fini sans pouvoir dire qui a réfléchi.
Les mêmes six. Un marketeur vérifie un chiffre inventé par l’IA ; un ingénieur vérifie un correctif qui a l’air juste et ne l’est pas. Ce qui change d’un poste à l’autre, c’est la tâche, pas les compétences.
La note fait la moyenne des six compétences. La recommandation regarde ce que le poste exige. Une note élevée avec un indispensable en dessous du niveau n’est pas une adéquation, et le résultat dit de quelle compétence il s’agit.
Voyez comment les candidats travaillent vraiment avec l’IA.
Nous utilisons des cookies pour analyser le trafic du site et améliorer votre expérience.
Politique de confidentialitéNous utilisons des cookies.