Фото в текст
в браузере

Что на самом деле делает OCR

OCR (Optical Character Recognition, оптическое распознавание символов) превращает пиксели, похожие на буквы, в текст, который понимает компьютер. Фото чека или скан страницы книги — для компьютера это просто цветные точки, пока модель, обученная на миллионах печатных символов, не сопоставит каждый узор точек обратно с а, б, 9, =. Движок этого инструмента — Tesseract, тот же самый, что лежит в основе сканера книг Internet Archive, бесплатных версий ABBYY FineReader Online и большинства open-source PDF-читалок — только здесь скомпилирован в WebAssembly, чтобы работать в вашем браузере, а не на чужом сервере.

Что можно бросать

JPG, PNG, WebP, HEIC (с iPhone) и одностраничный PDF. HEIC декодируется внутри браузера — без отдельного шага конвертации. Многостраничный PDF: распознаётся только первая страница; если нужны все, сначала разделите PDF через split-pdf и прогоните каждую отдельно. Фото прямо с телефона работают; так же как скриншоты, сканы с планшетного сканера и скрин-захваты экрана. Практический лимит — 25 МБ на файл; выше браузер начинает с трудом держать в памяти одновременно canvas и кучу WASM.

Каким должен быть хороший исходник

Качество OCR зависит от изображения гораздо больше, чем от движка. Скан 300 DPI с планшетного сканера машинописной страницы даёт 98–99% точности без какой-либо настройки. Чёткое фото чека при нормальном свете: 95%+. Размытое фото договора, снятое под углом в плохом освещении: 60–80%, и результат придётся вычитывать. Три вещи больше всего двигают точность: резкость (наведите фокус камеры до того, как нажать кнопку), контраст (чек с белым текстом на чёрном фоне труднее, чем чёрный на белом) и ориентация (движок справляется с небольшим наклоном, но повёрнутое на 90 градусов изображение нужно сначала развернуть). Если вы сканируете паспорт, СНИЛС, зарплатную ведомость или договор и точность важна, сначала используйте приложение-сканер — Заметки на iOS, Google Диск или Adobe Scan исправят перспективу и контраст до сохранения.

Языки

В v1 идёт 25 языков — по одному на локаль Vastiko плюс упрощённый китайский для пользователей материкового Китая. Латиница: английский, немецкий, французский, испанский, итальянский, португальский (покрывает и бразильский тоже), польский, нидерландский, датский, шведский, румынский, венгерский, чешский, турецкий, индонезийский, вьетнамский. Кириллица: русский, украинский. Греческий. Арабский (письмо справа налево). Тайский. CJK: японский, корейский, китайский упрощённый (материк), китайский традиционный (Тайвань / Гонконг).

Инструмент пытается угадать ваш язык по локали браузера при первой загрузке — браузер на русском открывает с русским, выбранным по умолчанию, японский браузер — с японским и так далее. Поменять можно в любой момент через верхнюю панель; ваш последний выбор сохраняется между сеансами. Каждый языковой пакет скачивается только при первом использовании (от 1 до 6 МБ в зависимости от алфавита — латинские алфавиты сжимаются лучше, чем CJK) и кешируется в браузере. Смена языка — это разовая загрузка на язык; последующие использования мгновенны.

Реальные русскоязычные документы редко на 100% русские. В договоре упомянуты Excel, PDF и WhatsApp. В выписке банка SWIFT, IBAN и названия иностранных банков на английском. В резюме английские технические термины перемешаны с русским опытом. Поэтому выбор любого языка, кроме английского, в качестве основного автоматически подгружает английский как вторичный алфавит в том же проходе распознавания — движок тогда рассматривает оба алфавита и для каждого слова выбирает чтение с большей уверенностью. Цена: примерно ×2 памяти и ~30% медленнее одного пакета, оно того стоит, потому что альтернатива — название бренда на английском, выходящее кашей посреди русского.

Что этот инструмент делает плохо

Рукописный текст. Tesseract обучен на печатном тексте. Прописной почерк, рецепт врача от руки, заметки в блокноте — путают модель (Microsoft Read API и Google Cloud Vision значительно лучше, но оба требуют загрузить изображение). Сложные таблицы. PDF с таблицей выходит как плоский текст со склеенными колонками; этот инструмент сохраняет порядок чтения, а не структуру таблицы. Для таблиц, которые должны остаться данными, используйте pdf-to-excel. Декоративные или стилизованные шрифты. Логотипы, заголовочные дисплейные шрифты, эффекты отрендеренного текста — часто проваливаются или возвращаются как абракадабра, потому что модель ожидает форм основного текста. Очень низкое разрешение. Скриншот абзаца шириной 320 пикселей: будет угадывать; шириной 1500 пикселей: прочитает.

Почему мы держим это в браузере

Когда человек делает OCR, документ обычно личный: скан паспорта, чтобы заполнить визу, счёт из частной клиники, зарплатная ведомость для ипотеки, договор, который кто-то прислал в JPG вместо Word. Самый короткий путь от этих фотографий к читаемому тексту в буфере обмена обычно лежит через чей-то бесплатный сайт OCR, который тихо хранит загрузку «для улучшения качества». Мы протестировали популярные в нашем privacy audit редакторов PDF, и тот же паттерн повторяется в OCR: загрузка на сервер, политика хранения с надписью «несколько часов», но обращающаяся к тому же диску месяцами позже, сторонняя аналитика, получающая хеш формы файла. Мы сделали работу, чтобы OCR работал целиком на устройстве, потому что тип файла, который вы наводите сюда, — это тот самый тип, который вы предпочли бы не отдавать ни на чей сервер.

Что происходит с вашим файлом

Откройте DevTools, перейдите на вкладку Network и бросьте файл. Вы увидите разовую загрузку ядра WASM и русской языковой модели (около 10 МБ суммарно) при первом использовании, а затем абсолютно ноль исходящих запросов, уносящих какую-либо часть вашего файла. На последующих запусках запросов нет вообще — движок в кеше, страница работает офлайн. Распознанный текст живёт в textarea браузера, откуда вы можете скопировать или скачать его как .txt. Ничто из этого никогда не касается ни одного нашего лога.

Когда серверный OCR имеет смысл

Если вы обрабатываете 10 000 счетов за ночь, инструмент в браузере — неправильная форма; нужна очередь и парк воркеров с GPU. Если нужен OCR рукописного текста с высокой точностью, облачные API всё ещё лучше open-source. Если ваши документы публичные — исторические архивы, договоры в публичном доступе, скриншоты с собственного блога — никакого выигрыша по приватности нет, а сервер может быть быстрее. Дело не в том, что локальный OCR выигрывает в каждом сценарии; дело в том, что для фотографий, которые лежат в плёнке камеры одного человека, расчёт переворачивается и не должен требовать акта веры в политику хранения.

Если у вас уже есть PDF с текстовым слоем — у большинства цифровых PDF он есть — используйте лучше pdf-to-txt: быстрее и без потерь, потому что он читает встроенный текст, а не запускает OCR по отрендеренной странице.