iPhoneでOCRを使ってコミックとマンガからテキストを抽出する

BiblioFuseはiPhone上でOCRを内蔵しており、CBZ・CBR・EPUB・PDFファイルのコミック・マンガページからテキストを抽出できる。日本語（縦書き含む）、中国語、韓国語、欧文に対応。処理はすべてNeural Engine上でローカルに実行され、ネット接続もサーバーアップロードも不要。iPhone 14以降では2秒以内に結果を得られる。

マンガシリーズの3巻目を読んでいるとき、キャラクターが一族名や技の名前を日本語で言及し、それを辞書で調べたいと思ったことはありませんか。または、印象的なセリフをコピーして保存したいこともあるでしょう。問題は、マンガページは画像であってテキストではないこと。吹き出しをタップして内容を選択することはできません。

BiblioFuseのOCR機能がこれを解決します。アプリはどのページでも、または選択した領域でも、テキストをスキャンして抽出し、コピー可能な文字列として提供します。CBZ、CBR、EPUB、PDFファイルで動作します。日本語、中国語、韓国語、西洋文字に対応しています。インターネット接続なしで、すべてデバイス上で処理されます。

なぜコミックのOCRが難しいのか

通常のドキュメント（領収書、フォント埋め込みのPDF）のOCRは解決済みの問題です。コミックページが難しい理由は3つあります：

テキストは曲線状のフチを持つ吹き出しの中にあります。 テキストは複雑な線画の上に配置されることが多く、OCRシステムを混乱させます。

フォントがスタイル化または手書きであることが多い。 特に西洋のコミックは、手書きを模倣したカスタムフォントや、強調のために変形した文字を使用します。

マンガには特有のレイアウト規則があります。 マンガの日本語テキストは通常、縦書きで右から左へ、狭い吹き出しにぎっしりと収められています。

BiblioFuseは、コミックとマンガのレイアウトに特化してOCRを訓練しており、横書き西洋文字と縦書きCJK（中国語、日本語、韓国語）文字で別々のモデルを使用しています。

抽出したテキストでできること

外国語の語彙を調べる。 日本語でマンガを読んでいる場合、パネルからセリフを抽出して辞書や翻訳アプリに貼り付けます。
引用をコピーする。 印象的なセリフ、キャプション、章のタイトルなど。
シリーズ内で検索する。 キャラクター名や専門用語を抽出して、他の巻で検索します。
アクセシビリティ。 スキャンしたコミックからテキストを抽出して、スクリーンリーダーや音声読み上げアプリに使用します。
未翻訳コンテンツの翻訳。 公式翻訳のないマンガでは、OCR＋機械翻訳でおおまかに内容を把握できます。

BiblioFuseでOCRを使う方法

OCRはリーダービューに組み込まれています。モードを変える必要はありません。

全ページをスキャンする場合：

読書中、ページの中央をタップしてコントロールを表示します。
ツールバーのOCRボタン（テキストカーソルアイコン）をタップします。
BiblioFuseが現在のページをスキャンし、抽出したテキストを下部のパネルに表示します。
テキストブロックをタップしてコピーするか、全てコピーを使います。

特定の領域をスキャンする場合：

ページの任意の場所を長押しします。
ドラッグして、目的の領域（吹き出し、キャプション、タイトル）の周りに選択矩形を描きます。
指を離します。BiblioFuseが選択した領域をスキャンして結果を表示します。
タップしてコピーまたは共有します。

領域選択モードは、密度の高いページや単一の吹き出しのテキストだけが欲しいときに、より正確です。

言語検出とCJKサポート

BiblioFuseはほとんどの場合、スクリプトを自動的に検出します。縦書き日本語テキストは正しく処理されます——BiblioFuseは右から左への列順で、上から下への読み順を再構築し、正しい順序で抽出テキストを表示します。

繁体字・簡体字中国語については、OCR出力で文字セットを区別します。韓国語マンファ（横書きテキスト）は、他のCJKスクリプトと同じパイプラインで処理されます。

精度：何を期待すべきか

高解像度スキャン（600+ DPI）： 非常に精度が高い。
標準版（300 DPI）： クリーンな文字では正確。スタイル化フォントでは一部エラー。
低解像度・圧縮スキャン： JPEGアーティファクトで精度低下。OCR前にBiblioFuseのアップスケーリング機能を使うと改善できます。
手書き文字のコミック： よりばらつきあり。機械印刷フォントは手書きより読みやすい。

テキストでできること

BiblioFuseの抽出テキストパネルは、iOSの標準共有シートアクションをサポートしています：

クリップボードにコピーして他のアプリに貼り付け
翻訳アプリ、メモ、メッセージアプリに直接共有
Safariで開いて検索

日本語テキストの場合、iOSシステム辞書に日英検索機能があります。抽出した漢字をクリップボードにコピーして、翻訳アプリや辞書アプリを開いてください。

より良い結果のためのヒント

個別の吹き出しには領域セレクタを使う。 全ページスキャンですべてのテキストが得られますが、吹き出しが密集している場合は、単一の吹き出しを選択するとよりクリーンな結果が得られます。

低品質スキャンにはアップスケーリングを有効にする。 BiblioFuseのリーダー設定で画像アップスケーリングをオンにすると、OCR入力品質が向上するシャープニングフィルターが適用されます。

マンガには縦書き認識のためスマホを垂直に持つ。 縦書きテキストのOCRは回転に敏感です。

OCRはデバイス上で動作する

BiblioFuseのすべてのOCR処理はiPhone上でローカルに実行されます。ページはサーバーに送信されません。画像が処理のためにアップロードされることも、外部APIが呼び出されることもありません。

始め方

OCRはBiblioFuseのiOS版で追加購入なしで利用できます。App Storeからアプリをダウンロードして、コミックやマンガをインポートし、読書中にOCRボタンを試してみてください。特にマンガ読者にとって、一度使うと手放せない機能です。

よくある質問

BiblioFuseのOCRはどの言語に対応していますか？ 日本語（縦書き含む）、簡体字・繁体字中国語、韓国語、西洋文字（ラテン・キリル・ギリシャ）に対応しています。言語は自動検出されますが、混在ページで自動検出がうまくいかない場合はOCR設定で言語を強制指定することもできます。

BiblioFuseでOCRはどのように使いますか？ コミックやマンガを読んでいるとき、リーダーのコントロールにあるOCRボタンをタップします。選択ボックスが表示されるので、コマや吹き出し上にドラッグします。BiblioFuseが選択範囲をNeural Engineでローカル処理し、抽出テキストを返します。テキストをタップしてコピーまたは共有できます。

OCRにインターネット接続は必要ですか？ 必要ありません。BiblioFuseのOCRはAppleのNeural Engineを使用して完全にデバイス上で動作します。外部サーバーには何もアップロードされません。機内モードや通信なしでも動作します。

BiblioFuseのOCRがiPhoneカメラより日本語に適しているのはなぜですか？ BiblioFuseはコミックページのテキスト向けに最適化されています。吹き出しの小さなフォント、マンガの縦書き、様式化されたフォント、斜めのテキストなどに対応。システムのVisionアプリはこの用途向けに調整されていません。BiblioFuseはテキストを読む順序で保持するため、辞書アプリへのコピー&ペーストがワンタップで完了します。

BiblioFuseのOCRはどのファイル形式に対応していますか？ OCRはCBZ、CBR、EPUB、PDFで動作します。BiblioFuseが対応するすべての主要コミック・電子書籍フォーマットが対象です。スキャンしたPDFやEPUB内の画像ページも含め、画像としてレンダリングされたページならテキスト抽出が可能です。