Извлечение текста из комиксов и манги на iPhone с помощью OCR

BiblioFuse включает встроенный OCR на устройстве для извлечения текста со страниц комиксов и манги на iPhone, с поддержкой японского (включая вертикальный текст), китайского, корейского и западных алфавитов в файлах CBZ, CBR, EPUB и PDF. Весь процесс выполняется локально на Neural Engine без подключения к интернету и загрузки на сервер — результат за менее двух секунд на iPhone 14 и новее.

Вы читаете третий том серии манги, когда персонаж упоминает название клана или техники в оригинальном написании, которое хочется найти в словаре. Или вы наткнулись на памятный диалог, который хочется процитировать. Проблема: страницы комиксов — это изображения, а не текст. Нажать на пузырь с диалогом и скопировать его содержимое не получится.

OCR в BiblioFuse решает эту проблему. Приложение может сканировать любую страницу — или выделенную область — извлечь найденный текст и предоставить его как строку, которую можно скопировать. Работает с файлами CBZ, CBR, EPUB и PDF. Поддерживает японский, китайский, корейский языки и западные шрифты. Всё выполняется на устройстве без интернет-соединения.

Почему OCR для комиксов — сложная задача

OCR обычных документов — квитанций, PDF с встроенными шрифтами — это решённая задача. Страницы комиксов сложнее по трём причинам:

Текст находится в пузырях с закруглёнными краями. Текст располагается на рисованном изображении, часто с замысловатыми линиями прямо позади букв, что сбивает с толку системы OCR.

Шрифты часто стилизованы или нарисованы вручную. В западных комиксах используются нестандартные шрифты, имитирующие рукопись или с деформированными буквами для акцента.

У манги специфические правила вёрстки. Японский текст в манге обычно вертикальный, справа налево, плотно вписан в узкие пузыри.

BiblioFuse обучает OCR специально для макетов комиксов и манги с отдельными моделями для горизонтального западного текста и вертикального текста CJK (китайского, японского, корейского).

Что можно делать с извлечённым текстом

Искать слова в иностранном языке. Если читаете мангу на японском, извлеките диалог из панели и вставьте в словарь или переводчик.
Копировать цитаты. Запоминающийся диалог, подпись, название главы.
Искать по серии. Извлеките имя персонажа или технический термин, чтобы найти его в других томах.
Доступность. Извлеките текст из отсканированных комиксов для использования в экранном дикторе или приложении синтеза речи.
Перевод непереведённого контента. Для манги без официального перевода OCR + машинный перевод даёт возможность примерно понять содержание.

Как использовать OCR в BiblioFuse

OCR встроен в режим чтения. Менять режим не нужно.

Для сканирования всей страницы:

Во время чтения нажмите на центр страницы, чтобы показать элементы управления.
Нажмите кнопку OCR на панели инструментов.
BiblioFuse сканирует текущую страницу и отображает извлечённый текст в нижней панели.
Нажмите на любой текстовый блок, чтобы скопировать его, или используйте Копировать всё.

Для сканирования конкретной области:

Нажмите и удерживайте любое место на странице.
Перетащите, чтобы нарисовать прямоугольник выделения вокруг нужной области.
Поднимите палец. BiblioFuse сканирует выделенную область и отображает результат.
Нажмите, чтобы скопировать или поделиться.

Режим выделения области точнее при работе с плотными страницами или когда нужен текст из одного конкретного пузыря.

Определение языка и поддержка CJK

BiblioFuse автоматически определяет тип письма в большинстве случаев. Вертикальный японский текст обрабатывается корректно — BiblioFuse восстанавливает порядок чтения сверху вниз в столбцах справа налево.

Для традиционного и упрощённого китайского BiblioFuse различает наборы символов в выводе OCR. Корейская манхва (горизонтальный текст) обрабатывается тем же пайплайном, что и другие языки CJK.

Точность: чего ожидать

Сканы высокого разрешения (600+ DPI): Очень точно.
Стандартные версии (300 DPI): Точно при чистом тексте; небольшие ошибки при стилизованных шрифтах.
Низкое разрешение или сжатые сканы: Точность снижается при JPEG-артефактах. Масштабирование в BiblioFuse может помочь перед запуском OCR.
Комиксы с ручными надписями: Больше вариаций. Машинные шрифты читаются лучше, чем рукописные.

Что делать с текстом

Панель извлечённого текста в BiblioFuse поддерживает стандартные действия меню «Поделиться» в iOS:

Копировать в буфер обмена и вставить в другое приложение
Поделиться напрямую с приложением перевода, Заметками или мессенджером
Открыть в Safari для поиска

Для японского текста в системном словаре iOS есть поиск японско-английских слов. Скопируйте извлечённые кандзи и откройте приложение Перевод или словарь.

Советы для лучших результатов

Используйте выделение области для отдельных пузырей. Сканирование всей страницы даёт весь текст, но выделение одного пузыря даёт более чистые результаты при плотном расположении пузырей.

Включите масштабирование для некачественных сканов. В настройках чтения BiblioFuse масштабирование изображения применяет фильтр резкости, улучшающий качество ввода для OCR.

Для манги держите телефон прямо. OCR на вертикальном тексте чувствителен к повороту.

OCR работает на устройстве

Всё OCR-обработка в BiblioFuse выполняется локально на iPhone. Страницы не отправляются на серверы. Изображения не загружаются для обработки, внешние API не вызываются.

Начало работы

OCR доступен в BiblioFuse для iOS без каких-либо дополнительных покупок. Загрузите приложение из App Store, импортируйте комикс или мангу и попробуйте кнопку OCR во время чтения. Для читателей манги в особенности это функция, без которой потом трудно обходиться.

Часто задаваемые вопросы

Какие языки поддерживает OCR в BiblioFuse? BiblioFuse поддерживает японский (включая вертикальный текст сверху вниз), упрощённый и традиционный китайский, корейский и западные алфавиты (латиница, кириллица, греческий). Язык определяется автоматически, но при смешанных страницах можно принудительно указать язык в настройках OCR.

Как работает OCR в BiblioFuse? Во время чтения комикса или манги нажмите кнопку OCR в элементах управления читалки. Появится область выделения — перетащите её на любой кадр или пузырь с диалогом. BiblioFuse обработает выбранную область локально на Neural Engine и вернёт извлечённый текст. Нажмите на текст, чтобы скопировать или поделиться.

Нужен ли интернет для работы OCR? Нет. OCR в BiblioFuse работает полностью на устройстве с помощью Neural Engine от Apple. Никакие данные не загружаются на внешние серверы. Работает в режиме полёта, без мобильного интернета и без Wi-Fi.

Почему OCR BiblioFuse лучше подходит для японского, чем камера iPhone? BiblioFuse оптимизирован для текста на страницах комиксов: мелкий текст в пузырях, вертикальный текст в манге, стилизованные шрифты и наклонный текст. Системное приложение Vision не настроено для такого контекста. BiblioFuse также сохраняет текст в порядке чтения, так что копирование в словарное приложение занимает одно нажатие.

С какими форматами файлов работает OCR в BiblioFuse? OCR работает с CBZ, CBR, EPUB и PDF — всеми основными форматами комиксов и книг, поддерживаемыми BiblioFuse. Текст извлекается с любой страницы, отрендеренной как изображение, включая отсканированные страницы в PDF и EPUB.