ChatGPTなどの生成AIは図面を読めるか｜できること・限界・自社の図面での確かめ方

結論から言うと、ChatGPTなどの生成AIは図面を「読める」が、そのまま業務の判定には使いにくい、というのが実際のところです。図面が何を表しているかの説明や、表題欄・注記の読み取りは得意です。一方、寸法の照合や記号の数え上げのように、1つの読み違いが結果を変える作業では、仕組みを工夫しないと精度が足りません。

生成AIに任せやすいこと

• 図面の説明。何の図面か、どんな部品や設備が描かれているかを文章で説明する
• 表題欄・注記の読み取り。図番・件名・材質・注記の文章を読み、項目に分ける
• 略記や専門用語の言い換え。注記の略記の意味を説明する（会社独自の略記は除く）
• 確認の観点を出す。図面を見て、確かめたほうがよい点を挙げる（漏れがないとは限らない）

公式資料に書かれている限界

OpenAIの画像入力に関する公式ドキュメントには、モデルの限界として次のような点が挙げられています。図面の読み取りにそのまま関わる項目です。

公式資料に書かれている限界	図面で起きること
小さな文字は、拡大すると読みやすくなる	大判の図面を1枚の画像で渡すと、寸法・公差の小さな数字を読み違える
回転した文字や画像を読み違えることがある	縦書きの寸法や、斜めに書かれた注記を読み違える
色や、実線・破線・点線などの線の種類が変わる図は理解しにくいことがある	外形線・隠れ線・中心線、配管と信号線の区別を誤る
正確な位置の把握が要る作業は苦手	その寸法がどの部位を指すか、どの線とどの線がつながるかを誤る
物の数は、おおよその数になることがある	器具や記号の数を数えると、数え漏れや数えすぎが出る
解析の前に画像が縮小されることがある	細かい線や文字が、縮小で消える
日本語など、ラテン文字以外の文字では性能が最適でない場合がある	日本語の注記や崩し字で、読み違いが増える

モデルは更新されるため、限界の中身も変わります。ただ、図面の読み取りで問題になるのは「時々間違える」こと自体です。どの条件で間違えるかを、自社の図面で確かめておく必要があります。

業務で使うときの工夫

生成AIの得意・不得意を踏まえ、図面AIでは次のように役割を分けます。

1. 部位ごとに切り出して読む。大判の図面を1枚で渡さず、表題欄・部品表・部位ごとに切り出して拡大します。
2. 位置合わせは画像処理に任せる。回転・縮尺・位置の計算は、生成AIではなく画像処理で行います。
3. 2回読んで比べる。全体を読んだ結果と、拡大して読み直した結果が食い違う箇所は、人の確認に回します。
4. ルールで点検する。部品表の数量の合計、書かれた距離と線の長さなど、計算で確かめられることは計算で確かめます。
5. 数える作業は検出の仕組みで。記号を数える作業は、生成AIの答えをそのまま使わず、記号を1つずつ見つける仕組みで数えます。

自社の図面で確かめる手順

1. 業務で実際に使う図面を、きれいなもの・スキャンの悪いもの・手書きの追記があるものに分けて集める
2. 図面の担当者が、読み取ってほしい項目の正しい答えを作る
3. 生成AIにそのまま渡した場合と、工夫を入れた場合で、同じ図面を読ませる
4. 項目ごとに、正しく読めた数・読み違えた数・読めないと答えた数を分けて数える
5. 読み違いが許されない項目は、人の確認を残す範囲として決める

正しい答えの組の作り方は、生成AIのPoCで最初に作る「正解データ」で詳しく解説しています。

図面を外部のサービスに渡す前に

図面は、社外に出せない情報の代表です。生成AIのサービスに図面を渡す前に、社内の規程と、サービスの利用規約・データの扱いを確かめます。社外に出せない場合は、閉域の環境で動かす構成も選べます（ローカルLLM・閉域AI）。

ジンベイの図面AI

ジンベイの図面AIでは、生成AIと画像処理・ルールを組み合わせ、会社ごとの図面に合わせて作ります。製造業の検図のPoCでは、客先のスキャン図面と社内の図面を部位ごとに読み比べ、差分のない図面での誤検出を0件にしました。文字と表を読むだけなら、図面OCRで足りることもあります。