Los candidatos hacen una tarea real del puesto con la herramienta de IA que ya usan. Grabamos toda su conversación con la IA, puntuamos seis competencias a partir de ella y enlazamos cada puntuación al mensaje exacto en que se basa. A continuación: qué medimos, cómo se asigna un nivel y un ejemplo completo.
Las competencias en IA son lo que hace una persona para sacar buen trabajo de una herramienta de IA. Nombramos seis: entender la tarea antes de pasarla, instruir a la IA, comprobar lo que devuelve, corregirla cuando se equivoca, dar el visto bueno a un trabajo listo para enviar y hacerlo repetible.
Da a la persona una tarea real del puesto y deja que use la herramienta de IA que ya usa. Luego lee toda la conversación, no solo el resultado. Las competencias se ven en lo que preguntó, lo que comprobó y lo que cambió.
La IA es el colega júnior más rápido y seguro de sí mismo que has tenido nunca. Evaluamos lo bien que la gente lo gestiona.
Una evaluación mide dos cosas:
1. Competencias en IA¿Qué tal trabajan con IA? Seis competencias, leídas de cómo hacen una tarea real y más larga del puesto. Se puntúan de Débil a Fuerte.
2. Competencias del puesto¿El trabajo en sí es bueno? Dos o tres competencias del puesto, leídas de la misma tarea. Se puntúan por debajo, al nivel o por encima del nivel.
Leídas de una tarea real del puesto. Para cada competencia: la pregunta que responde, cómo es el trabajo débil y el fuerte, y un ejemplo real de algo que puedes señalar en la sesión.
¿Entiende la tarea antes de pasársela a la IA?
Pide primero la respuesta. Acepta el encargo tal cual.
Lee primero el material. Descompone el problema. Detecta cuándo el encargo está mal.
Miró los datos antes de pedir una respuesta.
¿Le da a la IA lo que necesita?
Pega todo y dice “haz esto”.
Da contexto, límites, ejemplos y qué significa estar terminado. Se queda con las decisiones de criterio.
Le dijo a la IA que usara solo las cifras de los archivos.
¿Detecta cuándo la IA se equivoca?
Entrega lo que parece terminado.
Comprueba contra la fuente. Detecta el dato inventado y la cifra equivocada.
Cotejó el total con la cifra de finanzas.
¿Lo arregla cuando no funciona?
“Inténtalo otra vez”, “mejóralo”, en bucle.
Dice qué está mal y por qué. Cambia de enfoque pronto.
Cuando una consulta estaba mal, dijo qué fallaba.
¿Lo que entrega está listo para enviar?
Relleno, demasiado largo, afirmaciones que nadie comprobó.
Listo para quien lo lee. Dice qué se comprobó y qué no. Deja fuera los datos confidenciales.
Cinco líneas, como se pedía, con las suposiciones indicadas.
¿Hace que se pueda repetir?
Rehace el trabajo a mano cada vez.
Prompts guardados, skills, flujos de trabajo y automatizaciones. La siguiente vez es más rápida e igual.
Hizo los dos trimestres siguientes igual, sin empezar de nuevo.
Prompts, iterar, detectar alucinaciones: las competencias en IA tienen muchos nombres. Cada término habitual queda cubierto por una de nuestras seis competencias. Si tu empresa tiene su propia lista de competencias en IA, usa esta tabla para hacerla coincidir con la nuestra.
| Término habitual | Se puntúa en |
|---|---|
| Decidir en qué puede ayudar la IA | Instruir |
| Descomponer la tarea en pasos | Entender |
| Prompts: objetivo, contexto, límites, formato, ejemplos, qué significa estar terminado | Instruir |
| Iterar | Corregir |
| Verificación, errores, alucinaciones y sesgos | Verificar |
| Seguridad, protección de datos, confidencialidad y cumplimiento | Dar el visto bueno |
| Prompts reutilizables, flujos de trabajo, skills, agentes y automatizaciones | Reutilizar |
| Plantillas y estándares para el equipo | Reutilizar |
| Conectar herramientas y datos | Reutilizar, y las tareas con web y hojas de cálculo |
| Pensamiento crítico | Las seis. Es demasiado amplio para puntuarlo por separado, así que lo puntuamos donde aparece. |
| Medir el valor que aporta la IA con el tiempo | No se puntúa. Un solo trabajo no puede mostrarlo. |
Manejar bien la IA no basta si el trabajo está mal. En una evaluación completa, Lemonsignal también lee dos o tres competencias del puesto, en el mismo trabajo. Cada una se marca por debajo, al nivel o por encima del nivel.
Competencias de cada puestoCada tarea tiene una hoja de puntuación, escrita antes de que la haga ningún candidato. Para cada competencia, la hoja enumera dos o tres puntos de control: cosas concretas que hace un buen trabajo, como “cotejó el total con una segunda fuente”. Lemonsignal marca qué puntos de control cumplió el candidato, y dónde. El nivel sale entonces de las reglas siguientes, iguales para todos los candidatos. Si no hay un momento que señalar, no se asigna nivel.
Cada competencia da puntos: Débil 0, Parcial 1, Sólido 2, Fuerte 3. La puntuación son los puntos obtenidos sobre los puntos posibles. Sólido en las seis es 12 de 18, es decir, 67%. Una competencia Sin evaluar queda fuera de ambos, así que no puede bajar la puntuación.
La puntuación muestra la fortaleza global. La recomendación hace otra pregunta: ¿cumple esta persona lo que necesita el puesto? Cada puesto tiene imprescindibles, por ejemplo Verificar en Sólido o más para un analista de datos. Si falla uno, el resultado es Por debajo del nivel, aunque la puntuación sea alta. Puedes cambiar los imprescindibles antes de enviar la tarea. Es una recomendación: la decisión la toma tu equipo.
Cada nivel se apoya en uno de cuatro tipos de prueba. Lemonsignal encuentra los momentos relevantes, los cita y hace la primera lectura; tu equipo la revisa. Un momento se marca por su turno en la conversación (“Turno 14” es el mensaje n.º 14), no por el reloj, porque la mayoría de los candidatos trabaja en más de una sesión.
| Prueba | Por ejemplo | Cómo se puntúa |
|---|---|---|
| Errores conocidos de la IA incluidos en la tarea | Cada tarea tiene un punto donde la IA suele equivocarse. ¿Llegó ese error al trabajo que entregaron? | Se comprueba automáticamente: sí o no. |
| Su conversación con la IA | Miró los datos antes de pedir una respuesta. | Lemonsignal encuentra el momento y da un primer nivel. Tu equipo lo revisa. |
| Lo que entregaron | Cinco líneas, como se pedía, con las suposiciones indicadas. | Lemonsignal, según la hoja de puntuación. Tu equipo lo revisa. |
| Lo que crearon | Un prompt guardado, una skill, un script o un flujo de trabajo. | Lemonsignal, según la hoja de puntuación. Tu equipo lo revisa. |
La hoja de puntuación real de una tarea, la del analista de datos. El candidato recibe este encargo: “El panel muestra que los ingresos bajaron un 12% en marzo. Explica por qué a la dirección financiera en cinco líneas. Luego haz el T2 y el T3.” Los archivos que recibe contienen todo lo necesario para comprobar la respuesta. En la hoja, cada fila es una competencia. Cumple todos los puntos de la columna central para Sólido; cumple además el de la derecha para Fuerte.
| Competencia | Puntos de control para Sólido | Punto de control extra para Fuerte |
|---|---|---|
| Entender | Miró los datos antes de pedir una respuesta. Comprobó cómo define los ingresos el panel. | Cuestionó la cifra del panel antes de explicarla y convirtió eso en la pregunta. |
| Instruir | Le dio a la IA las tablas y la definición. Le dijo que usara solo estas cifras. | Se quedó con la conclusión; la IA hizo las consultas. |
| Verificar | Comprobó la consulta de la IA antes de usar su cifra. Cotejó el total con una segunda fuente. | Comprobó un segundo mes para descartar algo puntual. |
| Corregir | Cuando una consulta estaba mal, dijo qué fallaba. | Añadió una comprobación para que no volviera a pasar. |
| Dar el visto bueno | Cinco líneas, como se pedía. Ninguna afirmación sin fuente. Suposiciones indicadas. | Nombró lo que sigue sin verificar. |
| Reutilizar | Hizo el T2 y el T3 igual, sin rehacerlo a mano. | Entregó el prompt, la skill o la consulta que creó. |
El resultado que dio esta hoja para un candidato. Cada nivel enlaza al turno del que sale.
Lo que entregó, tal como lo entregó. Cada marca es una competencia de su resultado.
Por el cambio de precios del 1 de marzo.
| Mes | Ingresos (k€) | Variación |
|---|---|---|
| Enero | 1,212 | |
| Febrero | 1,240 | +2.3% |
| Marzo | 1,091 | −12.0% |
| Abril | 1,118 | +2.5% |
| Mayo | 1,152 | +3.0% |
| Junio | 1,139 | −1.1% |
| Julio | 1,101 | −3.3% |
| Agosto | 1,087 | −1.3% |
| Septiembre | 1,164 | +7.1% |
Lemonsignal hace una primera lectura de cada sesión. Tu responsable de contratación o reclutador ve la sesión, revisa la lectura y puede añadir comentarios. Decide esa persona. Nosotros escribimos las tareas y las hojas de puntuación.
La hoja de puntuación se escribe antes de que nadie haga la tarea, así que a todos los candidatos se les exige lo mismo. Cada nivel enlaza al momento en que se basa, así que puedes comprobar tú mismo cualquier puntuación.
Comprobamos que quien hace la tarea es la persona a la que se la enviaste. Lo que entrega tiene que coincidir con su conversación con la IA. Y la pregunta de entrevista trata de un momento concreto, difícil de responder por un trabajo que no hiciste.
Grabamos la conversación con la herramienta de IA, el trabajo que entrega y lo que haya creado para ello. Tu equipo de contratación y el candidato pueden verlo. Todo se guarda en la UE y se trata según el RGPD.
Lemonsignal lee toda la conversación, marca los momentos que importan y hace una primera lectura. Cada nivel enlaza al momento del que sale. Tu equipo de contratación ve la sesión, revisa la lectura, añade comentarios y decide.
Los resultados de la misma tarea se puntúan con la misma hoja, así que se pueden comparar. Otra tarea, o la tuya propia, tiene su propia hoja.
Dile en el encargo qué herramientas usar. Si usa otra, puede que no podamos leer la conversación, y las competencias que dependen de ella quedan Sin evaluar en lugar de penalizadas.
Dale una tarea real del puesto, deja que use su propia herramienta de IA y lee la conversación después. Luego pregunta por un momento de ella: por qué se fio de una cifra o por qué cambió el encargo. Pedir a alguien que describa cómo usa la IA muestra lo bien que habla de ella, no lo bien que la usa.
Si van a usar IA en el puesto, sí. Prohibirla evalúa una forma de trabajar que no usarán. Permitirla sin leer la conversación es el otro error: ves un trabajo terminado y no puedes saber quién pensó.
Las mismas seis. Una profesional de marketing comprueba una cifra que la IA se inventó; un ingeniero comprueba una corrección que parece buena y no lo es. De un puesto a otro cambia la tarea, no las competencias.
La puntuación promedia las seis competencias. La recomendación mira lo que el puesto exige. Una puntuación alta con un imprescindible por debajo del nivel no es un encaje, y el resultado dice qué competencia es.