AIOCRについて

2年くらい前にAIOCRを作ってみようかとか言いながら手つかずになっていた。
前回自前AIを作成してみたのと、一旦落ち着いたことも鑑み、今度はAIOCRを作成してみることにした。
今回は自前AIではなく、世に出回っている大手AIを使うことにした。
理由は圧倒的な学習データ量。これに勝るものはない。しかしながら完璧に文字起こしができるわけではないので、こういった補正機能追加することにした。
基本的なPDFや画像フィルからの文字起こしができたので、これに沿って2回目(抽出)とOutputフォーマット(JSON)の厳格化を強化しようと思う。JSONファイルができてしまえば、あとはRPAなどを使って下流工程も自動化も可能。
追加確定事項まとめ
2段階パイプライン(判定 ➔ 抽出)の確立
1回目(判定):帳票が「発注書か否か」と「どの顧客か(マスタ連携)」をAIに判断させ、顧客が不明な場合は汎用ルール(UNKNOWN)に自動で割り振る流れを確立した。
2回目(抽出):判定された顧客ごとのルールを動的に適用し、高精度に項目を抜き出す仕組みを実証する予定
最新のGoogle公式ライブラリ仕様(google-genai)への完全適合
最新の gemini-2.5-flash モデルと v1 API に完全に準拠した、エラーの起きない強固なベースコードを完成した。
マルチモーダル(PDF・画像)対応の確認
印字されたデジタルPDFだけでなく、手書き注文書などのPNG・JPG画像ファイルもプログラムを変更せずそのまま実行できる処理(拡張子自動判別)が組み込まれていることを確認した。
Outputフォーマット(JSON)の厳格化
印字と手書きによる出力データの「ブレ」を防ぐため、数量から単位(ケース等)を強制排除して数値化するルールや、日付を YYYY/MM/DD に統一するルールをプロンプト内に組み込み、データ構造をガチガチに固定する予定。
2. システムアーキテクチャ(構造)
現在のプログラム(ocr_pipeline.py)が裏側でどのようにデータを処理しているかを表したアーキテクチャ。
【入力ファイル】
(Order.pdf / handwritten.png)
│
▼
┌───────────────┐
│ 拡張子の判定 │ ➔ PDFか画像(PNG等)かを判別し、適切なラベルを貼る
└───────┬───────┘
│
▼
┌───────────────┐
│ 【1回目】 │ ➔ Gemini-2.5-flash
│ 顧客・文書判定│ 「発注書か?」「どの顧客(A, B, UNKNOWN)か?」を判定
└───────┬───────┘
│
├───► [結果] { "is_order": "Yes", "customer_id": "UNKNOWN" }
▼
┌───────────────┐
│ マスタ照合 │ ➔ 判定された顧客IDに応じた抽出ルール(プロンプト)を
│ (簡易DB連携) │ マスタ(CUSTOMER_PROMPT_MASTER)から動的に取得
└───────┬───────┘
│
▼
┌───────────────┐
│ 【2回目】 │ ➔ Gemini-2.5-flash
│ 項目抽出 │ 厳格化された共通フォーマット(納品先、納期、JAN、数量、単位)
└───────┬───────┘ に従って、ブレのないデータを抽出
│
▼
┌───────────────┐
│ 成果物保存 │ ➔ 受信したデータをクンジングし、文字化けを防いで
│ (JSON出力) │ 「入力ファイル名.json」としてフォルダに保存!
└───────────────┘
3. 次のステップ(今後進めること)
a.手書き・印字の最終テスト
本日厳格化したコードを使って、手元のPDFと手書きPNGを実際に流し、JSONが完璧に同じ枠組みで出力されるかをその目で確認する。

コメント