AIに任せる前に、タスクを理解しているか。
まず答えを求めます。指示をそのまま受け取ります。
まず資料を読みます。問題を分解します。指示の誤りに気づきます。
答えを求める前にデータを見ました。
候補者は普段使っているAIツールで、実際の業務からのタスクに取り組みます。AIとの会話全体を記録し、そこから6つのスキルを採点して、すべてのスコアを根拠となったメッセージにリンクします。以下では、測定する内容、レベルの付け方、完全な例を説明します。
AIスキルとは、AIツールから良い仕事を引き出すために人が行うことです。当社は6つを挙げています。任せる前にタスクを理解する、AIに指示する、出力を確認する、間違いを修正する、そのまま送れる成果物を承認する、繰り返し使える形にする、です。
実際の業務からタスクを出し、普段使っているAIツールを使ってもらいます。そのうえで、結果だけでなく会話全体を読みます。スキルは、何を尋ね、何を確認し、何を変えたかに現れます。
AIは、これまでで最も速く、最も自信にあふれた新人の同僚です。当社は、それをどれだけうまくマネジメントできるかをテストします。
アセスメントは2つのことを測ります:
1. AIスキルAIとどれだけうまく働けるか。実際の業務からの長めのタスク1つへの取り組みから6つのスキルを読み取ります。弱いから優秀までで採点します。
2. 職務スキル仕事そのものは良いか。同じタスクから職種のスキルを2〜3個読み取ります。基準未満、基準どおり、基準以上で採点します。
職種に合った実際のタスク1つから読み取ります。各スキルについて、答える問い、弱い仕事と優れた仕事の例、セッションで示せる実例を挙げています。
AIに任せる前に、タスクを理解しているか。
まず答えを求めます。指示をそのまま受け取ります。
まず資料を読みます。問題を分解します。指示の誤りに気づきます。
答えを求める前にデータを見ました。
AIに必要なものを渡しているか。
すべて貼り付けて「これをやって」と言います。
背景、制約、例、完了の条件を伝えます。判断は自分で行います。
ファイル内の数字だけを使うようAIに伝えました。
AIの間違いに気づけるか。
完成しているように見えるものをそのまま出します。
情報源と照らし合わせます。でっち上げの事実や誤った数字を見つけます。
合計を財務の数字と照合しました。
うまくいかないときに立て直せるか。
「やり直して」「もっと良くして」を繰り返します。
何がなぜ間違っているのかを伝えます。早めにやり方を変えます。
クエリが間違っていたとき、何が問題かを伝えました。
提出するものは、そのまま送れる状態か。
冗長で長く、誰も確認していない主張が含まれます。
読み手に渡せる状態です。確認したこと、していないことを明記します。機密データを含めません。
求められたとおりの5行で、前提を明記しました。
繰り返し使える形にしているか。
毎回手作業でやり直します。
プロンプト、skill、ワークフロー、自動化を保存します。次回はより速く、同じ品質で進みます。
次の2四半期も、一からやり直さず同じ方法で処理しました。
プロンプト作成、反復、ハルシネーションの確認:AIスキルにはさまざまな呼び方があります。一般的な用語はそれぞれ6つのスキルのいずれかに含まれます。自社独自のAIスキル一覧がある場合は、この表で当社のものと対応させてください。
| 一般的な用語 | 採点項目 |
|---|---|
| AIが役立つことの判断 | 指示する |
| タスクのステップ分解 | 理解する |
| プロンプト作成:目的、背景、制約、形式、例、完了の条件 | 指示する |
| 反復 | 修正する |
| 検証、誤り、ハルシネーション、バイアス | 確認する |
| セキュリティ、データ保護、機密保持、コンプライアンス | 承認する |
| 再利用できるプロンプト、ワークフロー、skill、エージェント、自動化 | 再利用する |
| チームのテンプレートと標準 | 再利用する |
| ツールとデータの接続 | 再利用する、およびウェブとスプレッドシートのタスク |
| 批判的思考 | 6つすべて。単独で採点するには広すぎるため、現れた箇所で採点します。 |
| AIが長期的に加える価値の測定 | 採点しません。1つの仕事では示せません。 |
AIに強くても、仕事が間違っていては意味がありません。完全なアセスメントでは、同じ成果物から職種に応じたスキルを2〜3個読み取ります。それぞれ基準未満、基準どおり、基準以上で評価します。
職種別の職務スキルすべてのタスクに、候補者が取り組む前に作成した採点シートがあります。シートには各スキルについて2〜3個のチェックポイントがあります。「合計を別の情報源と照合した」など、良い仕事が行う具体的なことです。Lemonsignalは、候補者がどのチェックポイントをどこで満たしたかをマークします。レベルは以下のルールに従って決まり、どの候補者にも同じです。示せる場面がなければ、レベルは付きません。
各スキルの点数:弱い0、部分的1、十分2、優秀3。スコアは獲得点を満点で割ったものです。6項目すべてが十分なら18点中12点で、67%です。未評価のスキルは両方から除外するので、スコアを下げることはありません。
スコアは全体的な強さを示します。推薦の判定は別の問いに答えます。この人はその職種に必要なものを満たしているか、です。各職種には必須要件があります。たとえばデータアナリストなら「確認する」が十分以上です。1つでも満たさなければ、スコアが高くても結果は基準未満です。必須要件はタスクを送る前に変更できます。これは推薦であり、判断するのはチームです。
どのレベルも4種類の根拠のいずれかに基づいています。Lemonsignalが関連する場面を見つけて引用し、一次評価を行います。チームがそれを確認します。ほとんどの候補者は複数回に分けて作業するため、場面は時刻ではなく会話のターンで示します(「ターン14」は14番目のメッセージです)。
| 根拠 | 例 | 採点方法 |
|---|---|---|
| タスクに組み込まれた既知のAIの間違い | 各タスクには、AIが間違えやすい箇所があります。その間違いが提出物に残っていないか。 | 自動で確認:はいまたはいいえ。 |
| AIとの会話 | 答えを求める前にデータを見ました。 | Lemonsignalが場面を見つけ、最初のレベルを付けます。チームが確認します。 |
| 提出物 | 求められたとおりの5行で、前提を明記しました。 | Lemonsignalが採点シートに沿って評価します。チームが確認します。 |
| 作ったもの | 保存したプロンプト、skill、スクリプト、ワークフロー。 | Lemonsignalが採点シートに沿って評価します。チームが確認します。 |
データアナリストの1つのタスクの実際の採点シートです。候補者へのタスク説明:「ダッシュボードで3月の売上が12%減少しています。理由をCFOに5行で説明してください。次にQ2とQ3も行ってください。」渡されるファイルに、答えの確認に必要なものはすべてあります。シートの各行が1つのスキルです。中央の列のチェックポイントをすべて満たせば十分、右の列も満たせば優秀です。
| スキル | 十分のチェックポイント | 優秀の追加チェックポイント |
|---|---|---|
| 理解する | 答えを求める前にデータを見ました。ダッシュボードの売上の定義を確認しました。 | 説明する前にダッシュボードの数字を疑い、それを論点にしました。 |
| 指示する | AIにテーブルと定義を渡しました。この数字だけを使うよう伝えました。 | 結論は自分で出し、クエリはAIに任せました。 |
| 確認する | AIの数字を使う前にクエリを確認しました。合計を別の情報源と照合しました。 | 一時的なものでないことを確かめるため、別の月も確認しました。 |
| 修正する | クエリが間違っていたとき、何が問題かを伝えました。 | 再発しないようチェックを追加しました。 |
| 承認する | 求められたとおりの5行。情報源のない主張はありません。前提を明記しました。 | 未検証の点を明記しました。 |
| 再利用する | Q2とQ3を、手作業でやり直さず同じ方法で処理しました。 | 作ったプロンプト、skill、クエリを提出しました。 |
このシートが1人の候補者について出した結果です。各レベルは根拠となったターンにリンクしています。
提出されたままの成果物です。各マークは結果に示されたスキルに対応しています。
3月1日の価格改定が原因です。
| 月 | 売上(€k) | 増減 |
|---|---|---|
| 1月 | 1,212 | |
| 2月 | 1,240 | +2.3% |
| 3月 | 1,091 | −12.0% |
| 4月 | 1,118 | +2.5% |
| 5月 | 1,152 | +3.0% |
| 6月 | 1,139 | −1.1% |
| 7月 | 1,101 | −3.3% |
| 8月 | 1,087 | −1.3% |
| 9月 | 1,164 | +7.1% |
Lemonsignalが各セッションの一次評価を行います。採用マネージャーまたは採用担当者がセッションを見て、一次評価を確認し、コメントを追加できます。判断するのはその人たちです。タスクと採点シートは当社が作成します。
採点シートは誰かがタスクに取り組む前に作成するので、どの候補者にも同じ基準が適用されます。すべてのレベルが根拠となった場面にリンクしているので、どのスコアもご自身で確認できます。
タスクに取り組んでいるのが送付先の本人であることを確認します。提出物はAIとの会話と一致している必要があります。面接の質問は具体的な場面について尋ねるので、自分でしていない仕事については答えにくいものです。
AIツールとの会話、提出物、そのために作ったものを記録します。採用チームと候補者が確認できます。すべてEU内に保存し、GDPRに従って取り扱います。
Lemonsignalが会話全体を読み、重要な場面にマークを付けて一次評価を行います。各レベルは根拠となった場面にリンクしています。採用チームがセッションを見て、一次評価を確認し、コメントを加えて判断します。
同じタスクの結果は同じシートで採点するので、比較できます。別のタスクや独自のタスクには、それぞれのシートがあります。
タスク説明で使うツールを伝えてください。別のツールを使うと会話を読めない場合があり、それに依存するスキルは減点ではなく未評価になります。
実際の業務からタスクを出し、候補者自身のAIツールを使ってもらい、後から会話を読みます。そのうえで、その中の1つの場面について尋ねます。なぜその数字を信頼したのか、なぜ指示を変えたのかなどです。AIの使い方を説明してもらっても、わかるのは話のうまさで、実際の腕前ではありません。
業務でAIを使うなら、はい。禁止すると、実際には使わない働き方をテストすることになります。会話を読まずに許可するのも間違いです。完成した成果物が見えるだけで、誰が考えたのかはわかりません。
同じ6つです。マーケターはAIがでっち上げた数字を確認し、エンジニアは正しく見えて誤っている修正を確認します。職種によって変わるのはタスクで、スキルではありません。
スコアは6つのスキルの平均です。推薦の判定はその職種の必須要件を見ます。スコアが高くても必須要件が基準未満なら適合ではなく、結果にどのスキルかが示されます。