なぜ答えを測るか
評価（AI のテスト）の基本の作り方は、新人向けの Stack Map「評価（AI のテスト）」にあります。ここでは、リーダーとして、何を・どの数で・どう測り、測った結果で何を決めるかを扱います。入れるかどうかの決め方は「AI を入れるかを決める」、文書から答える作りは「社内の文書で答える」へ。
評価セットを作る（問いの種類と数）
評価セットは、問いと「正解の要点」と出典の組です。実際の問い合わせから集め、難しい問い・答えの無い問い・権限の外の問いを、わざと混ぜます。下の道具で種類ごとの数を変えると、測った合格の割合に、どれだけの幅があるかが出ます。
試す: この数で、どこまで言えるか
測り方（4 つの観点と、採点の仕方）
1 つの答えを、正しいか・出典に沿っているか・答えるべきでない時に答えていないか・言い方、の 4 つで見ます。採点は、決まった答えと比べる・人が採点する・AI による採点（LLM-as-a-Judge）、を組み合わせます。
AI に採点させるときの癖
癖の抑え方
練習: 10 の答えを採点する
総務の問い合わせ AI の答え（規程・問い・答えは作り物）です。元の文書と聞いた人を見て、それぞれの判定を選んでください。選ぶと、総務（山本）の判定と理由が出ます。
採点の AI（作り物）と、総務の判定を比べる
試す: 主張に分けて数える（出典に沿っているか）
直して、全部を流し直す（版の比べ方）
プロンプト・モデル・検索の設定・文書のどれかを変えたら、評価セットの全部を流し直します（回帰テスト）。2 つの版は、同じ問いで対にして比べ、差に幅を付けて読みます。
試す: 2 つの版を比べる（40 問。結果は作り物）
本番で見張る
出したあとは、ログ・利用者の評価・答えられなかった問い・遅さと費用・モデルの更新を見張ります。見張りの数の置き方と人を呼ぶ決まりは、SLO と監視「何を SLI にするか」と同じ考え方です。
練習: この変化に、どう動くか
本番の見張りで見つけた変化（作り物）です。それぞれ、どう動くかを選んでください。
人の確認を入れる所
社外に出る文・お金や人事に関わる答え・自信の低い答えには、人の確認を入れます（AI 事業者ガイドラインの言う「人間の判断の介在」）。下の道具は、デジタル庁 DS-920 の「高リスク判定シート」（政府の生成 AI 向け）の 3 つの軸と判定の式を、あおば商事の使い方に当てはめたものです。当てはめは考え方のヒントです。
試す: この使い方は、人の確認が要るか
A. 業務の性格
B. 使う人の範囲
C. 人が判断してから使うか
データの形 考え方のヒント
評価セット・版・流した記録・問いごとの結果・本番のログ・人の確認を表にしておくと、「いつ、どの版で、何が変わったか」を後から追えます。表を押すと、列と例の行が出ます。表と列は一例です。
落とし穴
AI の答えを測るときに、よくはまる所です。
AI 時代の測り方
評価の仕事そのものも、AI で速くなりました。ただし、合格の線を決めるのと、採点の確かさを確かめるのは人です。
チェックリスト
自分の案件の AI の測り方を見直したら、チェックを付けてください（この端末にだけ残ります）。考え方のヒント