iPhone에서 OCR로 만화와 망가에서 텍스트 추출하기

BiblioFuse는 iPhone의 CBZ, CBR, EPUB, PDF 파일에서 만화와 망가 페이지의 텍스트를 추출하는 온디바이스 OCR을 포함한다. 일본어(세로 쓰기 포함), 중국어, 한국어, 서양 문자를 지원하며, 전체 프로세스가 Neural Engine에서 로컬로 실행되어 네트워크 연결이나 서버 업로드가 필요 없고 iPhone 14 이상에서 2초 이내에 결과를 제공한다.

망가 시리즈 3권을 읽다가 캐릭터가 일본어로 된 문파 이름이나 기술 이름을 언급할 때 사전에서 찾아보고 싶었던 적이 있으신가요? 또는 인상적인 대사를 저장하고 싶을 때도 있죠. 문제는 만화 페이지가 이미지이지 텍스트가 아니라는 점입니다. 말풍선을 탭해서 내용을 선택할 수는 없습니다.

BiblioFuse의 OCR 기능이 이를 해결합니다. 앱은 어떤 페이지든, 또는 선택한 영역이든 텍스트를 스캔해서 추출하고 복사 가능한 문자열로 제공합니다. CBZ, CBR, EPUB, PDF 파일에서 작동하며 일본어, 중국어, 한국어, 서양 문자를 지원합니다. 인터넷 연결 없이 모두 기기에서 처리됩니다.

만화 OCR이 어려운 이유

일반 문서(영수증, 내장 글꼴이 있는 PDF)의 OCR은 이미 해결된 문제입니다. 만화 페이지는 세 가지 이유로 더 어렵습니다.

텍스트가 곡선 테두리가 있는 말풍선 안에 있습니다. 복잡한 선화 위에 텍스트가 위치하며, OCR 시스템을 혼란스럽게 만듭니다.

글꼴이 종종 스타일화되거나 손글씨로 쓰여 있습니다. 특히 서양 만화는 손글씨를 모방한 커스텀 글꼴이나 강조를 위해 변형된 글자 형태를 사용합니다.

망가에는 특유의 레이아웃 관습이 있습니다. 망가의 일본어 텍스트는 보통 세로 방향, 오른쪽에서 왼쪽으로, 좁은 말풍선 안에 빽빽하게 배치됩니다.

BiblioFuse는 만화와 망가 레이아웃에 특화된 OCR을 훈련시켰으며, 가로 서양 문자와 세로 CJK(중국어, 일본어, 한국어) 문자에 대해 별도의 모델을 사용합니다.

추출한 텍스트로 할 수 있는 것들

외국어 어휘 찾아보기. 일본어로 망가를 읽는다면, 패널에서 대사를 추출해서 사전이나 번역 앱에 붙여넣기.
인용문 복사하기. 인상적인 대사, 캡션, 챕터 제목 등.
시리즈 내에서 검색. 캐릭터 이름이나 전문 용어를 추출해서 다른 권에서 검색.
접근성. 스캔된 만화에서 텍스트를 추출해서 스크린 리더나 텍스트 음성 변환 앱에 사용.
미번역 콘텐츠 번역. 공식 번역이 없는 망가에서 OCR + 기계 번역으로 대략적인 내용을 파악.

BiblioFuse에서 OCR 사용하기

OCR은 리더 뷰에 내장되어 있습니다. 모드를 전환할 필요가 없습니다.

전체 페이지 스캔:

읽는 중에 페이지 중앙을 탭해서 컨트롤을 표시합니다.
도구 모음의 OCR 버튼(텍스트 커서 아이콘)을 탭합니다.
BiblioFuse가 현재 페이지를 스캔하고 추출된 텍스트를 아래 패널에 표시합니다.
텍스트 블록을 탭해서 복사하거나, 모두 복사를 사용합니다.

특정 영역 스캔:

페이지 어느 부분이든 길게 누릅니다.
드래그해서 원하는 영역(말풍선, 캡션 박스, 제목) 주변에 선택 사각형을 그립니다.
손가락을 뗍니다. BiblioFuse가 선택 영역을 스캔하고 결과를 표시합니다.
탭해서 복사하거나 공유합니다.

영역 선택 모드는 밀집된 페이지나 단일 말풍선의 텍스트만 원할 때 더 정확합니다.

언어 감지 및 CJK 지원

BiblioFuse는 대부분의 경우 스크립트를 자동으로 감지합니다. 세로 일본어 텍스트는 올바르게 처리됩니다 — BiblioFuse는 오른쪽에서 왼쪽 열 순서로 위에서 아래로의 읽기 순서를 재구성합니다.

번체 및 간체 중국어에 대해 BiblioFuse는 OCR 출력에서 문자 집합을 구분합니다. 한국 만화(manhwa)(가로 텍스트)는 다른 CJK 스크립트와 동일한 파이프라인으로 처리됩니다.

정확도: 무엇을 기대할 수 있나

고해상도 스캔(600+ DPI): 매우 정확.
표준 버전(300 DPI): 깨끗한 텍스트에서 정확; 스타일화된 글꼴에서 일부 오류.
저해상도 또는 압축 스캔: JPEG 아티팩트로 정확도 저하. OCR 전에 BiblioFuse의 업스케일링 기능 사용 권장.
손글씨 만화: 변동이 더 큼. 기계 인쇄 글꼴이 손글씨보다 더 잘 인식됨.

텍스트로 할 수 있는 것들

BiblioFuse의 추출 텍스트 패널은 iOS 표준 공유 시트 동작을 지원합니다:

클립보드에 복사해서 다른 앱에 붙여넣기
번역 앱, 메모, 메시징 앱에 직접 공유
Safari에서 열어서 검색

일본어 텍스트의 경우 iOS 시스템 사전에 일영 검색 기능이 있습니다. 추출된 한자를 클립보드에 복사하고 번역 앱이나 사전 앱을 열면 됩니다.

더 나은 결과를 위한 팁

개별 말풍선에는 영역 선택기 사용. 전체 페이지 스캔으로 모든 텍스트를 얻을 수 있지만, 말풍선이 밀집된 경우 단일 말풍선 선택이 더 깨끗한 결과를 줍니다.

저품질 스캔에는 업스케일링 활성화. BiblioFuse 리더 설정에서 이미지 업스케일링을 켜면 OCR 입력 품질을 개선하는 샤프닝 필터가 적용됩니다.

망가는 스마트폰을 수직으로 유지. 세로 텍스트 OCR은 회전에 민감합니다.

OCR은 기기에서 실행됩니다

BiblioFuse의 모든 OCR 처리는 iPhone에서 로컬로 실행됩니다. 페이지가 서버로 전송되지 않습니다. 처리를 위해 이미지가 업로드되거나 외부 API가 호출되지 않습니다.

시작하기

OCR은 BiblioFuse iOS 버전에서 추가 구매 없이 사용할 수 있습니다. App Store에서 앱을 다운로드하고 만화나 망가를 임포트한 후 읽는 중에 OCR 버튼을 사용해 보세요. 특히 망가 독자에게 한 번 사용하면 없어서는 안 되는 기능이 될 것입니다.

자주 묻는 질문

BiblioFuse OCR은 어떤 언어를 지원하나요? BiblioFuse는 일본어(세로 쓰기 포함), 간체·번체 중국어, 한국어, 서양 문자(라틴, 키릴, 그리스)를 지원합니다. 언어는 자동으로 감지되지만, 혼합 페이지에서 자동 감지가 잘 안 되면 OCR 설정에서 언어를 직접 지정할 수 있습니다.

BiblioFuse에서 OCR은 어떻게 사용하나요? 만화나 망가를 읽는 중에 리더 컨트롤의 OCR 버튼을 탭합니다. 선택 박스가 나타나면 패널이나 말풍선 위로 드래그합니다. BiblioFuse가 선택 영역을 Neural Engine에서 로컬로 처리하고 추출된 텍스트를 반환합니다. 텍스트를 탭해서 복사하거나 공유할 수 있습니다.

OCR에 인터넷 연결이 필요한가요? 아니요. BiblioFuse OCR은 Apple Neural Engine을 사용하여 완전히 기기에서 실행됩니다. 외부 서버에 아무것도 업로드되지 않습니다. 비행기 모드, 데이터 없음, Wi-Fi 없음에서도 작동합니다.

BiblioFuse OCR이 iPhone 카메라보다 일본어에 더 좋은 이유는? BiblioFuse는 만화 페이지 텍스트에 최적화되어 있습니다. 작은 말풍선 텍스트, 망가의 세로 쓰기, 양식화된 폰트, 기울어진 텍스트 등이 해당됩니다. 시스템 Vision 앱은 이 컨텍스트에 맞게 조정되지 않았습니다. BiblioFuse는 텍스트를 읽는 순서대로 유지하므로 사전 앱에 복사·붙여넣기가 한 번의 탭으로 완료됩니다.

BiblioFuse OCR은 어떤 파일 형식에서 작동하나요? OCR은 CBZ, CBR, EPUB, PDF에서 작동합니다. BiblioFuse가 지원하는 모든 주요 만화 및 전자책 형식이 대상입니다. 스캔된 PDF나 EPUB 내의 이미지 페이지를 포함하여 이미지로 렌더링된 페이지에서 텍스트를 추출할 수 있습니다.