PoCが判断材料にならない理由

生成AIのPoCがうまく終わらない理由の多くは、技術ではなく測り方にあります。よくあるのは次の3つです。

  • 物差しがない。デモで数件を試して「それなりに動いた」と報告し、本開発に進むかを決められない
  • 合格ラインが後から決まる。結果を見てから基準を議論するため、関係者の納得が得られない
  • 精度しか見ていない。本番で効いてくる応答の速さと費用を測っておらず、構成を決められない

どれも、作り始める前に正解データと合格ラインを決めておけば防げます。

正解データとは

正解データは、AIに渡す入力と、業務の担当者が「これが正しい」と決めた出力の組です。帳票の読み取りなら帳票と正しい値、法令のチェックなら相談文と正しい判定、図面の照合なら2枚の図面と本当の差分が組になります。

正解を決めるのは、AIの開発者ではなく業務の担当者です。何をもって正しいとするかは業務の判断であり、ここを開発側が決めると、本番で「使えない」と言われる原因になります。

何件用意するか

件数は一律には決まりません。多くの場合は数十件から100件程度で始め、次の3つを満たすように選びます。

  1. 業務で起きる型を網羅する。帳票の書式、相談の類型、図面の種類など、業務で実際に起きる型ごとに入れます。件数の多さより、型の漏れがないことを優先します。
  2. 判断が分かれる事例を入れる。担当者の間でも意見が分かれる「グレー」の事例を、意図して含めます。本番で困るのはこうした事例です。
  3. 調整用と評価用を分ける。指示文（プロンプト）の調整に使ったデータで精度を測ると、実力より高く出ます。評価用のデータは調整に使いません。

採点の決め方

同じ結果でも、採点の決め方で数字は大きく変わります。最初に次の3つを決めます。

決めること選択肢の例考え方
何を1件と数えるか文字・項目・帳票1枚・判定1回業務で人が確認する単位にそろえる
どこまでを正解とするか完全一致・表記ゆれを許す・意味が合えば正解後工程のシステムに渡すなら完全一致に寄せる
どの誤りを重く見るか見逃し（あるものをないとする）・誤検出（ないものをあるとする）見逃しが事故につながる業務では、正解率より見逃しの件数を優先する

帳票の読み取りでは、「読めなかった項目」と「間違って埋められた項目」を分けて数えます。前者は空欄として見つけられますが、後者は全件を見直さないと見つかりません。測り方の詳しい例は、手書き帳票130枚・7,660項目を完全一致で採点した検証で紹介しています。

正解そのものが揺れるとき

正解データを作り始めると、担当者の間で正解が一致しない事例が必ず出てきます。これはPoCの失敗ではなく、業務の判断基準が言葉になっていなかったことが見えた成果です。

  • 正解は2人で作り、突き合わせて食い違いを洗い出す
  • 食い違った事例は、判断の基準を言葉にして決め直す
  • 基準を決め直したら、正解データ全体を見直してから測り直す

正解の揺れを放置したまま精度を測ると、AIの誤りと正解側の誤りが区別できなくなります。

精度・速さ・費用を同じ表で比べる

モデルの選び方は、精度だけでは決まりません。同じ正解データで複数のモデルを測り、次のような表にまとめます。

構成精度（決めた指標）重く見る誤りの件数応答時間一定件数あたりの費用
上位モデル測定値測定値測定値測定値
軽量モデル測定値測定値測定値測定値
軽量モデル＋参照資料測定値測定値測定値測定値

上位のモデルがいつも最適とは限りません。参照させる資料や指示文を見直すと、軽量なモデルでも精度を保ったまま、速く安く動かせることがあります。本番では件数に比例して費用がかかるため、この比較が本開発の総額を左右します。

本開発に進むかを決める

合格ラインを最初に決めておけば、PoCの結果は次の3つのどれかに整理できます。

結果判断
合格ラインを超えた選んだ構成で本開発に進む
一部の型だけ届かない届かない型を人の確認に回す前提で、範囲を絞って進む
大きく届かない見送る。または、入力の形や業務の手順を変えてから測り直す

2つ目の「人が見る範囲を決めて進む」は、生成AIの導入でよく選ばれる形です。AIが確かな部分と怪しい部分を分けて渡せれば、人の確認は怪しい部分だけで済みます。

PoCの進め方

  1. 対象の業務と、AIに任せる範囲を決める。
  2. 合格ラインを決める。指標と、重く見る誤りの許容件数を決めます。
  3. 正解データを作る。型を網羅し、判断が分かれる事例を含め、調整用と評価用に分けます。
  4. 複数の構成を同じ物差しで測る。精度・速さ・費用を同じ表に並べます。
  5. 結果を3つの判断のどれかに当てはめる。本開発の総額と期間もここで見積もります。

ジンベイのAI PoC開発

ジンベイのAI PoC開発では、業務の担当者と一緒に正解データを作るところから始め、精度・速さ・費用を同じ物差しで測って、本開発に進むかを判断できる材料と試作を納めます。対象の業務が決まっていれば、AIエージェント導入支援として本開発まで進められます。