top of page

AIOCRについて

6月14日
読了時間: 3分

2年くらい前にAIOCRを作ってみようかとか言いながら手つかずになっていた。

前回自前AIを作成してみたのと、一旦落ち着いたことも鑑み、今度はAIOCRを作成してみることにした。


今回は自前AIではなく、世に出回っている大手AIを使うことにした。

理由は圧倒的な学習データ量。これに勝るものはない。しかしながら完璧に文字起こしができるわけではないので、こういった補正機能追加することにした。

基本的なPDFや画像フィルからの文字起こしができたので、これに沿って2回目(抽出)とOutputフォーマット(JSON)の厳格化を強化しようと思う。JSONファイルができてしまえば、あとはRPAなどを使って下流工程も自動化も可能。


  1. 追加確定事項まとめ

    1. 2段階パイプライン(判定 ➔ 抽出)の確立

      • 1回目(判定):帳票が「発注書か否か」と「どの顧客か(マスタ連携)」をAIに判断させ、顧客が不明な場合は汎用ルール(UNKNOWN)に自動で割り振る流れを確立した。

      • 2回目(抽出):判定された顧客ごとのルールを動的に適用し、高精度に項目を抜き出す仕組みを実証する予定

    2. 最新のGoogle公式ライブラリ仕様(google-genai)への完全適合

      • 最新の gemini-2.5-flash モデルと v1 API に完全に準拠した、エラーの起きない強固なベースコードを完成した。

    3. マルチモーダル(PDF・画像)対応の確認

      • 印字されたデジタルPDFだけでなく、手書き注文書などのPNG・JPG画像ファイルもプログラムを変更せずそのまま実行できる処理(拡張子自動判別)が組み込まれていることを確認した。

    4. Outputフォーマット(JSON)の厳格化

      • 印字と手書きによる出力データの「ブレ」を防ぐため、数量から単位(ケース等)を強制排除して数値化するルールや、日付を YYYY/MM/DD に統一するルールをプロンプト内に組み込み、データ構造をガチガチに固定する予定。


2. システムアーキテクチャ(構造)

現在のプログラム(ocr_pipeline.py)が裏側でどのようにデータを処理しているかを表したアーキテクチャ。

【入力ファイル】
  (Order.pdf / handwritten.png)
       │
       ▼
 ┌───────────────┐
 │ 拡張子の判定  │ ➔ PDFか画像(PNG等)かを判別し、適切なラベルを貼る
 └───────┬───────┘
         │
         ▼
 ┌───────────────┐
 │ 【1回目】     │ ➔ Gemini-2.5-flash
 │ 顧客・文書判定│    「発注書か?」「どの顧客(A, B, UNKNOWN)か?」を判定
 └───────┬───────┘
         │
         ├───► [結果] { "is_order": "Yes", "customer_id": "UNKNOWN" }
         ▼
 ┌───────────────┐
 │ マスタ照合    │ ➔ 判定された顧客IDに応じた抽出ルール(プロンプト)を
 │ (簡易DB連携)  │    マスタ(CUSTOMER_PROMPT_MASTER)から動的に取得
 └───────┬───────┘
         │
         ▼
 ┌───────────────┐
 │ 【2回目】     │ ➔ Gemini-2.5-flash
 │ 項目抽出      │    厳格化された共通フォーマット(納品先、納期、JAN、数量、単位)
 └───────┬───────┘    に従って、ブレのないデータを抽出
         │
         ▼
 ┌───────────────┐
 │ 成果物保存    │ ➔ 受信したデータをクンジングし、文字化けを防いで
 │ (JSON出力)    │    「入力ファイル名.json」としてフォルダに保存!
 └───────────────┘

3. 次のステップ(今後進めること)

a.手書き・印字の最終テスト

  • 本日厳格化したコードを使って、手元のPDFと手書きPNGを実際に流し、JSONが完璧に同じ枠組みで出力されるかをその目で確認する。


コメント


bottom of page