I candidati svolgono un compito reale del ruolo con lo strumento AI che usano già. Registriamo l’intera conversazione con l’AI, ne valutiamo sei competenze e colleghiamo ogni punteggio al messaggio esatto su cui si basa. Di seguito: che cosa misuriamo, come si assegna un livello e un esempio completo.
Le competenze AI sono ciò che una persona fa per ottenere un buon lavoro da uno strumento AI. Ne nominiamo sei: capire il compito prima di affidarlo, dare il brief all’AI, controllare ciò che restituisce, correggerla quando sbaglia, approvare un lavoro pronto da inviare e renderlo ripetibile.
Si assegna alla persona un compito reale del ruolo e la si lascia usare lo strumento AI che usa già. Poi si legge l’intera conversazione, non solo il risultato. Le competenze si vedono in ciò che ha chiesto, controllato e cambiato.
L’AI è il collega junior più veloce e più sicuro di sé che abbia mai avuto. Testiamo quanto bene le persone lo gestiscono.
Una valutazione misura due cose:
1. Competenze AIQuanto bene lavorano con l’AI? Sei competenze, lette da come svolgono un compito reale e più lungo del ruolo. Punteggio da Debole a Forte.
2. Competenze del ruoloIl lavoro in sé è buono? Due o tre competenze del ruolo, lette dallo stesso compito. Punteggio sotto, alla o sopra la soglia.
Lette da un compito reale del ruolo. Per ogni competenza: la domanda a cui risponde, come appare un lavoro debole e uno forte, e un esempio reale di qualcosa che si può indicare nella sessione.
Capisce il compito prima di affidarlo all’AI?
Chiede subito la risposta. Prende il brief così com’è.
Prima legge il materiale. Scompone il problema. Nota quando il brief è sbagliato.
Ha guardato i dati prima di chiedere una risposta.
Dà all’AI ciò che le serve?
Incolla tutto e dice “fai questo”.
Dà contesto, limiti, esempi e che cosa significa “finito”. Tiene per sé le decisioni di giudizio.
Ha detto all’AI di usare solo i numeri dei file.
Si accorge quando l’AI sbaglia?
Consegna ciò che sembra finito.
Verifica sulla fonte. Scopre il fatto inventato e il numero sbagliato.
Ha confrontato il totale con il numero della finanza.
Rimedia quando non funziona?
“Riprova”, “fai meglio”, a ripetizione.
Dice che cosa non va e perché. Cambia approccio presto.
Quando una query era sbagliata, ha detto che cosa non andava.
Ciò che consegna è pronto da inviare?
Riempitivi, troppo lungo, affermazioni che nessuno ha controllato.
Pronto per chi legge. Dice che cosa è stato controllato e che cosa no. Tiene fuori i dati riservati.
Cinque righe, come richiesto, con le ipotesi dichiarate.
Lo rende ripetibile?
Rifà il lavoro a mano ogni volta.
Prompt salvati, skill, workflow e automazioni. La volta dopo è più veloce e uguale.
Ha fatto i due trimestri successivi allo stesso modo, senza ricominciare.
Prompting, iterazione, controllo delle allucinazioni: le competenze AI hanno molti nomi. Ogni termine comune rientra in una delle nostre sei competenze. Se la sua azienda ha un proprio elenco di competenze AI, usi questa tabella per abbinarlo al nostro.
| Termine comune | Valutato sotto |
|---|---|
| Decidere in che cosa l’AI può aiutare | Dare il brief |
| Scomporre il compito in passaggi | Capire |
| Prompting: obiettivo, contesto, limiti, formato, esempi, che cosa significa “finito” | Dare il brief |
| Iterazione | Correggere |
| Verifica, errori, allucinazioni e bias | Verificare |
| Sicurezza, protezione dei dati, riservatezza e compliance | Approvare |
| Prompt riutilizzabili, workflow, skill, agenti e automazioni | Riutilizzare |
| Modelli e standard per il team | Riutilizzare |
| Collegare strumenti e dati | Riutilizzare, e i compiti su web e fogli di calcolo |
| Pensiero critico | Tutte e sei. È troppo ampio per valutarlo da solo, quindi lo valutiamo dove appare. |
| Misurare il valore che l’AI aggiunge nel tempo | Non valutato. Un solo lavoro non può mostrarlo. |
Essere bravi con l’AI non basta se il lavoro è sbagliato. In una valutazione completa, Lemonsignal legge anche due o tre competenze del ruolo, sullo stesso lavoro. Ognuna è segnata sotto, alla o sopra la soglia.
Competenze per ogni ruoloOgni compito ha una griglia di valutazione, scritta prima che qualsiasi candidato lo svolga. Per ogni competenza, la griglia elenca due o tre punti di controllo: cose precise che fa un buon lavoro, come “ha confrontato il totale con una seconda fonte”. Lemonsignal segna quali punti di controllo il candidato ha raggiunto, e dove. Il livello segue poi dalle regole qui sotto, uguali per ogni candidato. Se non c’è un momento da indicare, non viene assegnato alcun livello.
Ogni competenza vale punti: Debole 0, Parziale 1, Solido 2, Forte 3. Il punteggio è dato dai punti ottenuti sui punti possibili. Solido in tutte e sei è 12 su 18, quindi 67%. Una competenza Non valutata resta fuori da entrambi, quindi non può abbassare il punteggio.
Il punteggio mostra la forza complessiva. La raccomandazione pone un’altra domanda: questa persona ha ciò che il ruolo richiede? Ogni ruolo ha degli indispensabili, per esempio Verificare a Solido o più per un data analyst. Se ne manca uno il risultato è Sotto la soglia, anche con un punteggio alto. Può modificare gli indispensabili prima di inviare il compito. È una raccomandazione: la decisione spetta al suo team.
Ogni livello poggia su uno di quattro tipi di prova. Lemonsignal trova i momenti rilevanti, li cita e dà la prima lettura; il suo team la controlla. Un momento è indicato dal turno nella conversazione (“Turno 14” è il messaggio numero 14), non dall’orologio, perché la maggior parte dei candidati lavora in più riprese.
| Prova | Per esempio | Come viene valutato |
|---|---|---|
| Errori noti dell’AI inseriti nel compito | Ogni compito ha un punto in cui l’AI di solito sbaglia. Quell’errore è arrivato nel lavoro consegnato? | Controllato automaticamente: sì o no. |
| La conversazione con l’AI | Ha guardato i dati prima di chiedere una risposta. | Lemonsignal trova il momento e dà un primo livello. Il suo team lo controlla. |
| Ciò che ha consegnato | Cinque righe, come richiesto, con le ipotesi dichiarate. | Lemonsignal, in base alla griglia di valutazione. Il suo team lo controlla. |
| Ciò che ha costruito | Un prompt salvato, una skill, uno script o un workflow. | Lemonsignal, in base alla griglia di valutazione. Il suo team lo controlla. |
La griglia di valutazione reale di un compito, quello del data analyst. Il candidato riceve questo brief: “La dashboard mostra ricavi in calo del 12% a marzo. Spieghi perché al CFO in cinque righe. Poi faccia il T2 e il T3.” I file che riceve contengono tutto ciò che serve per controllare la risposta. Nella griglia, ogni riga è una competenza. Per Solido servono tutti i punti di controllo della colonna centrale; per Forte anche quello a destra.
| Competenza | Punti di controllo per Solido | Punto di controllo in più per Forte |
|---|---|---|
| Capire | Ha guardato i dati prima di chiedere una risposta. Ha controllato come la dashboard definisce i ricavi. | Ha messo in dubbio il numero della dashboard prima di spiegarlo, e ne ha fatto la domanda. |
| Dare il brief | Ha dato all’AI le tabelle e la definizione. Le ha detto di usare solo questi numeri. | Ha tenuto per sé la conclusione; l’AI ha fatto le query. |
| Verificare | Ha controllato la query dell’AI prima di usarne il numero. Ha confrontato il totale con una seconda fonte. | Ha controllato un secondo mese per escludere un caso isolato. |
| Correggere | Quando una query era sbagliata, ha detto che cosa non andava. | Ha aggiunto un controllo perché non potesse ripetersi. |
| Approvare | Cinque righe, come richiesto. Nessuna affermazione senza fonte. Ipotesi dichiarate. | Ha indicato ciò che resta da verificare. |
| Riutilizzare | Ha fatto il T2 e il T3 allo stesso modo, senza rifarli a mano. | Ha consegnato il prompt, la skill o la query che ha costruito. |
Il risultato che questa griglia ha prodotto per un candidato. Ogni livello rimanda al turno da cui proviene.
Che cosa ha consegnato, così come l’ha consegnato. Ogni segno è una competenza del suo risultato.
A causa della modifica dei prezzi del 1 marzo.
| Mese | Ricavi (k€) | Variazione |
|---|---|---|
| Gennaio | 1,212 | |
| Febbraio | 1,240 | +2.3% |
| Marzo | 1,091 | −12.0% |
| Aprile | 1,118 | +2.5% |
| Maggio | 1,152 | +3.0% |
| Giugno | 1,139 | −1.1% |
| Luglio | 1,101 | −3.3% |
| Agosto | 1,087 | −1.3% |
| Settembre | 1,164 | +7.1% |
Lemonsignal dà una prima lettura di ogni sessione. L’hiring manager o il recruiter guarda la sessione, controlla la lettura e può aggiungere commenti. La decisione è sua. Noi scriviamo i compiti e le griglie di valutazione.
La griglia di valutazione è scritta prima che qualcuno svolga il compito, quindi ogni candidato è giudicato sulla stessa base. Ogni livello rimanda al momento su cui si basa, così può controllare lei stesso qualsiasi punteggio.
Controlliamo che chi svolge il compito sia la persona a cui l’ha inviato. Ciò che consegna deve corrispondere alla conversazione con l’AI. E la domanda di colloquio riguarda un momento preciso, a cui è difficile rispondere su un lavoro che non si è fatto.
Registriamo la conversazione con lo strumento AI, il lavoro consegnato e ciò che è stato costruito per il compito. Possono vederlo il suo team di selezione e il candidato. Tutto è conservato nell’UE e trattato secondo il GDPR.
Lemonsignal legge l’intera conversazione, segna i momenti che contano e dà una prima lettura. Ogni livello rimanda al momento da cui proviene. Il suo team di selezione guarda la sessione, controlla la lettura, aggiunge commenti e decide.
I risultati dello stesso compito sono valutati con la stessa griglia, quindi sono confrontabili. Un compito diverso, o un suo compito, ha una griglia propria.
Indichi nel brief quali strumenti usare. Se ne usa un altro, potremmo non riuscire a leggere la conversazione, e le competenze che ne dipendono risultano Non valutate invece di essere penalizzate.
Assegni un compito reale del ruolo, lasci usare il proprio strumento AI e poi legga la conversazione. Quindi chieda di un momento preciso: perché si è fidato di un numero o perché ha cambiato il brief. Chiedere alle persone di descrivere come usano l’AI mostra quanto bene ne parlano, non quanto bene lo fanno.
Se useranno l’AI nel ruolo, sì. Vietarla testa un modo di lavorare che non useranno. Consentirla senza leggere la conversazione è l’altro errore: si vede un lavoro finito e non si sa chi ha ragionato.
Le stesse sei. Un marketer controlla un numero inventato dall’AI; un ingegnere controlla una correzione che sembra giusta e non lo è. Da un ruolo all’altro cambia il compito, non le competenze.
Il punteggio fa la media delle sei competenze. La raccomandazione guarda ciò che il ruolo richiede. Un punteggio alto con un indispensabile sotto la soglia non è una corrispondenza, e il risultato dice quale competenza è.
Usiamo i cookie per analizzare il traffico del sito e migliorare la sua esperienza.
Informativa sulla privacyUsiamo i cookie.