DueBuddy

Точность распознавания: почему мы не пишем 99,9%

Мы сверили 24 поля на трёх реальных сканах: 23 верно, одна ошибка — потерянный ноль в номере счёта. Как мы считаем точность и почему не показываем красивый процент.

Каждый, кто выбирает сервис для разбора счетов, задаёт один и тот же вопрос: «а какая точность?»

И почти всегда получает один и тот же ответ: «девяносто девять процентов». Иногда «девятьдесят девять и девять». Спросите следом, на каких документах это измеряли и что считали ошибкой, — и разговор заканчивается.

Мы решили поступить наоборот: измерить то, что можем проверить, и показать цифру вместе с ошибкой. Даже если цифра выглядит скромнее конкурентной.

Что мы измеряли

Взяли три настоящих коммерческих счёта — не учебные примеры, а документы, которые реально ходят между компаниями. Все три пришли сканами без текстового слоя, среднего качества: обычная офисная печать, ровный свет, ничего выдающегося.

По каждому документу вручную выписали эталон: номер, дата, ИНН продавца, сумма без налога, НДС, ставка, итог, валюта. Восемь полей на документ, 24 поля всего.

Дальше сравнили с тем, что извлёк сервис. Не «похоже на правду», а посимвольно.

Что получилось

Двадцать три поля из двадцати четырёх. Один документ — восемь из восьми, второй — восемь из восьми, третий — семь из восьми.

Ошибка одна: в счёте номер был ИП000000318, сервис вернул ИП00000318. Потерялся ведущий ноль.

Мелочь? Нет. Именно на этом ломается сверка: документ в базе есть, сумма совпадает, а номер не сходится — и при сверке с поставщиком программа не находит пару, заводит второй документ. Мы об этой ошибке знали и даже написали отдельный текст про ведущие нули. Знать и не допускать — разные вещи, поэтому цифра честная, а не приглаженная.

Почему мы не пишем 99,9%

Потому что для такой цифры нужно много документов и понятная методика. У нас три документа. На трёх документах можно получить и 100%, и 60% — это статистика уровня «спросил двух друзей».

Написать «99,9%» легко. Проверить это невозможно — ни вам, ни нам через месяц. Поэтому мы пишем так: 23 из 24 на трёх реальных сканах, ошибка такая-то, выборка растёт — цифра обновляется.

Что это значит для вас

Точность «в среднем» — это не то, что нужно бухгалтеру. Нужно понимать, какие поля проверять руками, а какие можно не смотреть.

По нашим замерам картина такая:

Поле Что показывает практика
Сумма, НДС, ставка Сходятся стабильно; если ставка не указана в документе — выводится из сумм и помечается
Дата, валюта Сходятся; путаница бывает только с датой получения вместо даты счёта, но это уже ошибка того, кто вводит
ИНН, название продавца Сходятся, включая длинные юридические формы
Номер счёта Слабое место: длинные номера с ведущими нулями. Проверять посимвольно
Позиции Распознаются, сумма позиций сверяется с итогом; при расхождении ставится пометка

Вывод простой: сервис экономит время на суммах и реквизитах, но номер счёта человек всё равно должен взглянуть. Одна секунда — и минус целый класс проблем.

А что с XML и PDF с текстом

Их мы не распознаём с картинки — данные берутся прямо из файла. Там нет «точности распознавания» в принципе: число не угадывается, оно читается.

Поэтому и цена другая: XML, UBL, ZUGFeRD, XRechnung и QR-коды мы не тарифицируем вообще. Платите за страницы, которые нужно смотреть глазами — сканы и фото.

Как мы будем обновлять цифру

Каждый новый документ, который присылают клиенты, попадает в ту же проверку. Раз в месяц пересчитываем и публикуем новое значение — в том числе если оно станет хуже.

Это не благородство, а практическая необходимость: как только мы начнём скрывать ошибки, проверять перестанут и нас.

Что проверить в своём счёте за минуту

Три вещи, которые ловят большинство проблем:

  1. Номер — посимвольно, с ведущими нулями.
  2. Ставка — против суммы налога, а не по привычке.
  3. Сумма позиций — против итога.

Если все три сходятся, документ, скорее всего, чистый. Если нет — у вас есть минута, чтобы это исправить до закрытия месяца, а не полдня после.

Проверить на своих документах можно бесплатно: пять счетов, без карты.

DueBuddyВсе статьи DueBuddy