Os candidatos fazem uma tarefa real do trabalho com a ferramenta de IA que já usam. Gravamos toda a conversa deles com a IA, pontuamos seis habilidades a partir dela e ligamos cada pontuação à mensagem exata em que se baseia. A seguir: o que medimos, como um nível é dado e um exemplo completo.
Habilidades em IA são o que uma pessoa faz para obter um bom trabalho de uma ferramenta de IA. Definimos seis: entender a tarefa antes de passá-la, instruir a IA, conferir o que ela devolve, corrigir quando ela erra, aprovar um trabalho pronto para enviar e torná-lo repetível.
Dê uma tarefa real do trabalho e deixe a pessoa usar a ferramenta de IA que já usa. Depois leia a conversa inteira, não só o resultado. As habilidades aparecem no que ela perguntou, no que conferiu e no que mudou.
A IA é o colega júnior mais rápido e mais confiante que você já teve. Testamos o quanto as pessoas sabem gerenciá-lo.
Uma avaliação mede duas coisas:
1. Habilidades em IAComo trabalham com IA? Seis habilidades, lidas a partir de como fazem uma tarefa real e mais longa do trabalho. Pontuadas de Fraco a Forte.
2. Habilidades da funçãoO próprio trabalho é bom? Duas ou três habilidades da função, lidas na mesma tarefa. Pontuadas abaixo do nível, no nível ou acima do nível.
Lidas a partir de uma tarefa real da função. Para cada habilidade: a pergunta que responde, como é um trabalho fraco e um forte, e um exemplo real de algo que você pode apontar na sessão.
Entendem a tarefa antes de passá-la para a IA?
Pede a resposta primeiro. Aceita o briefing como veio.
Lê o material primeiro. Divide o problema. Percebe quando o briefing está errado.
Olhou os dados antes de pedir uma resposta.
Dão à IA o que ela precisa?
Cola tudo e diz “faça isso”.
Dá contexto, limites, exemplos e o que significa estar pronto. Guarda para si as decisões de julgamento.
Disse à IA para usar só os números dos arquivos.
Percebem quando a IA está errada?
Entrega o que parece terminado.
Testa contra a fonte. Pega o fato inventado e o número errado.
Comparou o total com o número de finanças.
Consertam quando não está funcionando?
“Tente de novo”, “melhore isso”, sem parar.
Diz o que está errado e por quê. Muda de abordagem cedo.
Quando uma consulta estava errada, disse o que havia de errado.
O que entregam está pronto para enviar?
Enrolação, longo demais, afirmações que ninguém conferiu.
Pronto para quem vai ler. Diz o que foi verificado e o que não foi. Mantém dados confidenciais de fora.
Cinco linhas, como pedido, com as suposições declaradas.
Tornam o processo repetível?
Refaz o trabalho à mão toda vez.
Prompts salvos, skills, fluxos de trabalho e automações. A próxima execução é mais rápida e igual.
Fez os dois trimestres seguintes da mesma forma, sem começar de novo.
Prompts, iteração, verificação de alucinações: as habilidades em IA têm muitos nomes. Cada termo comum é coberto por uma das nossas seis habilidades. Se sua empresa tem a própria lista de habilidades em IA, use esta tabela para fazer a correspondência com a nossa.
| Termo comum | Pontuado em |
|---|---|
| Decidir em que a IA pode ajudar | Instruir |
| Dividir a tarefa em passos | Entender |
| Prompts: objetivo, contexto, limites, formato, exemplos, o que significa estar pronto | Instruir |
| Iteração | Corrigir |
| Verificação, erros, alucinações e viés | Verificar |
| Segurança, proteção de dados, confidencialidade e compliance | Aprovar |
| Prompts reutilizáveis, fluxos de trabalho, skills, agentes e automações | Reutilizar |
| Modelos e padrões para a equipe | Reutilizar |
| Conectar ferramentas e dados | Reutilizar, e as tarefas com web e planilhas |
| Pensamento crítico | Todas as seis. É amplo demais para pontuar sozinho, então pontuamos onde aparece. |
| Medir o valor que a IA acrescenta ao longo do tempo | Não pontuado. Um único trabalho não consegue mostrar isso. |
Ser bom com IA não basta se o trabalho estiver errado. Em uma avaliação completa, a Lemonsignal também lê duas ou três habilidades da função, no mesmo trabalho. Cada uma é marcada abaixo do nível, no nível ou acima do nível.
Habilidades de cada funçãoToda tarefa tem uma ficha de pontuação, escrita antes de qualquer candidato fazê-la. Para cada habilidade, a ficha lista dois ou três critérios: coisas específicas que um bom trabalho faz, como “comparou o total com uma segunda fonte”. A Lemonsignal marca quais critérios o candidato atendeu, e onde. O nível então decorre das regras abaixo, as mesmas para todos os candidatos. Se não há um momento para apontar, nenhum nível é dado.
Cada habilidade dá pontos: Fraco 0, Parcial 1, Sólido 2, Forte 3. A pontuação é os pontos obtidos sobre os pontos possíveis. Sólido nas seis é 12 de 18, ou seja, 67%. Uma habilidade Não avaliada fica fora dos dois, então não pode baixar a pontuação.
A pontuação mostra a força geral. A recomendação faz outra pergunta: esta pessoa atende ao que a função precisa? Cada função tem requisitos obrigatórios, por exemplo Verificar em Sólido ou acima para um analista de dados. Se faltar um, o resultado é Abaixo do nível, mesmo com uma pontuação alta. Você pode mudar os requisitos obrigatórios antes de enviar a tarefa. É uma recomendação: a decisão é da sua equipe.
Cada nível se apoia em um de quatro tipos de evidência. A Lemonsignal encontra os momentos relevantes, cita-os e faz a primeira leitura; sua equipe confere. Um momento é marcado pelo turno na conversa (“Turno 14” é a 14ª mensagem), não pelo relógio, porque a maioria dos candidatos trabalha em mais de uma sessão.
| Evidência | Por exemplo | Como é pontuado |
|---|---|---|
| Erros conhecidos da IA incluídos na tarefa | Toda tarefa tem um ponto em que a IA costuma errar. Esse erro chegou ao trabalho entregue? | Verificado automaticamente: sim ou não. |
| A conversa com a IA | Olhou os dados antes de pedir uma resposta. | A Lemonsignal encontra o momento e dá um primeiro nível. Sua equipe confere. |
| O que entregaram | Cinco linhas, como pedido, com as suposições declaradas. | A Lemonsignal, com base na ficha de pontuação. Sua equipe confere. |
| O que construíram | Um prompt salvo, uma skill, um script ou um fluxo de trabalho. | A Lemonsignal, com base na ficha de pontuação. Sua equipe confere. |
A ficha de pontuação real de uma tarefa, a do analista de dados. O candidato recebe este briefing: “O painel mostra a receita em queda de 12% em março. Explique por que ao CFO em cinco linhas. Depois faça Q2 e Q3.” Os arquivos que recebe têm tudo o que é preciso para conferir a resposta. Na ficha, cada linha é uma habilidade. Atenda a todos os critérios da coluna do meio para Sólido; atenda também ao da direita para Forte.
| Habilidade | Critérios para Sólido | Critério extra para Forte |
|---|---|---|
| Entender | Olhou os dados antes de pedir uma resposta. Conferiu como o painel define receita. | Questionou o número do painel antes de explicá-lo e fez disso a questão. |
| Instruir | Passou à IA as tabelas e a definição. Disse para usar só esses números. | Guardou a conclusão para si; a IA fez as consultas. |
| Verificar | Conferiu a consulta da IA antes de usar o número. Comparou o total com uma segunda fonte. | Conferiu um segundo mês para descartar um caso isolado. |
| Corrigir | Quando uma consulta estava errada, disse o que estava errado. | Acrescentou uma verificação para que não voltasse a acontecer. |
| Aprovar | Cinco linhas, como pedido. Nenhuma afirmação sem fonte. Suposições declaradas. | Disse o que ainda não foi verificado. |
| Reutilizar | Fez Q2 e Q3 da mesma forma, sem refazer à mão. | Entregou o prompt, a skill ou a consulta que construiu. |
O resultado que esta ficha produziu para um candidato. Cada nível leva ao turno de onde veio.
O que ele entregou, como ele entregou. Cada marca é uma habilidade do resultado dele.
Por causa da mudança de preço em 1 de março.
| Mês | Receita (€ mil) | Variação |
|---|---|---|
| Janeiro | 1,212 | |
| Fevereiro | 1,240 | +2.3% |
| Março | 1,091 | −12.0% |
| Abril | 1,118 | +2.5% |
| Maio | 1,152 | +3.0% |
| Junho | 1,139 | −1.1% |
| Julho | 1,101 | −3.3% |
| Agosto | 1,087 | −1.3% |
| Setembro | 1,164 | +7.1% |
A Lemonsignal faz uma primeira leitura de cada sessão. Seu gestor da contratação ou recrutador assiste à sessão, confere a leitura e pode adicionar comentários. A decisão é deles. Nós escrevemos as tarefas e as fichas de pontuação.
A ficha de pontuação é escrita antes de alguém fazer a tarefa, então todos os candidatos são avaliados pelo mesmo critério. Cada nível leva ao momento em que se baseia, para que você possa conferir qualquer pontuação.
Verificamos se quem faz a tarefa é a pessoa para quem você a enviou. O que ela entrega precisa corresponder à conversa com a IA. E a pergunta da entrevista é sobre um momento específico, difícil de responder por um trabalho que você não fez.
Gravamos a conversa com a ferramenta de IA, o trabalho entregue e o que foi construído para ele. Sua equipe de contratação e o candidato podem ver. Tudo é armazenado na UE e tratado de acordo com o GDPR.
A Lemonsignal lê a conversa inteira, marca os momentos que importam e faz uma primeira leitura. Cada nível leva ao momento de onde veio. Sua equipe de contratação assiste à sessão, confere a leitura, adiciona comentários e decide.
Os resultados da mesma tarefa são pontuados com a mesma ficha, então podem ser comparados. Uma tarefa diferente, ou a sua própria, tem a própria ficha.
Diga no briefing quais ferramentas usar. Se ele usar outra, talvez não consigamos ler a conversa, e as habilidades que dependem dela ficam como Não avaliadas, sem perder pontos.
Dê uma tarefa real do trabalho, deixe a pessoa usar a própria ferramenta de IA e leia a conversa depois. Em seguida pergunte sobre um momento dela: por que confiou em um número ou por que mudou o briefing. Pedir que as pessoas descrevam como usam IA mostra como falam disso, não como fazem.
Se vão usar IA no trabalho, sim. Proibir testa um jeito de trabalhar que não vão usar. Permitir sem ler a conversa é o outro erro: você vê um trabalho pronto e não sabe quem pensou.
As mesmas seis. Um profissional de marketing confere um número que a IA inventou; um engenheiro confere uma correção que parece certa e não é. O que muda de uma função para outra é a tarefa, não as habilidades.
A pontuação faz a média das seis habilidades. A recomendação olha o que a função exige. Uma pontuação alta com um requisito obrigatório abaixo do nível não é aderência, e o resultado diz qual é a habilidade.
Usamos cookies para analisar o tráfego do site e melhorar sua experiência.
Política de privacidadeUsamos cookies.