Що насправді означає цифра точності 98%

Відсоток сам по собі ще не є твердженням

Кожен, хто продає витяг даних із документів, починає з цифри точності. Ці цифри тримаються приблизно в одному місці, десь у девʼяностих, і майже ніколи не порівнянні між собою, бо саме число не каже, що вимірювали, на чому і хто.

Саме в цьому розриві й трапляється помилка вибору. Дві системи з однаковим відсотком можуть повестися на ваших документах цілком по-різному, і жодна сторінка жодного з постачальників не дасть вам зрозуміти, яка з них яка.

Корисна версія твердження про точність завжди йде разом із описом вимірювання. У нашому кейсі зі звітами SEC точність вимірювали на звітах, перевірених вручну. Це речення важливіше за сам відсоток. Воно каже, що еталонний набір — це реальний результат, який людина передивилася рядок за рядком, а не вибірка, на якій систему й налаштовували, і не внутрішня оцінка того, як воно наче працює.

Просіть саме таке речення. Якщо постачальник не може його дати, то цифра була враженням, а не вимірюванням.

Покриття вирішує, чи взагалі корисна ця цифра

Друге питання — що саме покриває цей відсоток. І тут більшість гучних цифр тихо розсипається.

Візьмімо систему, яка читає фінансову звітність. У грі пʼять типів звітів. Звіт про прибутки та збитки розібрати найлегше, і з ним добре справляється будь-який інструмент. Постачальник може отримати 98% на ньому одному й написати 98% на сайті, формально не збрехавши.

Ваш аналітик усе одно відкриє PDF, бо поїхав баланс.

У цьому й уся проблема з узагальненою цифрою: вона усереднює й ховає те місце, де система слабка, а саме це місце й визначає, чи можна довіряти результату без перевірки. Інструмент, який чудово працює на чотирьох різновидах документів і ненадійно на пʼятому, не прибрав ручний крок із вашого процесу. Він пересунув його в менш передбачуване місце, і це гірше, бо тепер ніхто не знає, які саме результати треба передивитися.

Планка, яку варто ставити, — це покриття без слабкого місця. У проєкті зі звітністю це означало триматися на всіх пʼяти типах звітів, а не лише на найлегшому, і цифра точності озвучувалася саме в такій формі.

Чому «до 98%» — чесніша форма

Цифра, названа без застережень, звучить сильніше. Вона ж має більше шансів зламатися при зустрічі з вашими документами.

Точність витягу залежить від вихідних документів. Чистіші документи дають вищий бал. Набір від одного емітента зі сталим шаблоном дасть вищий бал, ніж набір від сорока емітентів, які не мають спільного шаблону взагалі. Число, отримане на зручному наборі, описує цей набір і продовжуватиме описувати саме його рівно до моменту, коли ви подасте те, чого система ще не бачила.

Формулювання «до 98%» — це і є твердження про цю залежність. Воно каже, що число тримається за виміряних умов і не є обіцянкою для довільного входу. Постачальник, який називає цифру, за яку відповість на новому наборі документів, каже вам щось корисніше за постачальника, який називає свій вдалий день.

Тож ставте наступне питання: а який був результат на найгіршому наборі з тих, що ви тестували?

Де саме сидить залишкова похибка

Залишкова частка хибних показників, названа відсотком, звучить досить дрібно, щоб її прийняти. Чи це справді так, залежить від того, чого відсоток не здатен передати: як саме виглядають хибні показники.

Похибка, яка ламається голосно, майже нічого не коштує. Комірка вийшла порожньою, сума не розбирається, експорт падає — і хтось це виправляє за хвилину.

Дорога похибка — та, що виглядає правдоподібно. Виторг, який потрапив не в той рядок, помилився на порядок або належить попередньому періоду, пройде повз будь-яке людське око, бо правдоподібну цифру ніхто не передивляється. Вона потрапляє в модель, далі в порівняння, далі у висновок, за яким хтось діє. Ціна цієї похибки не має нічого спільного з розміром залишкової частки й має все спільне з тим, що на ній збудували.

Тому валідація на виході важить більше, ніж останній пункт точності. Суми, що не сходяться, і показники, які суперечать один одному, мають підсвічуватися, а не експортуватися мовчки. Система, яка сама позначає свій непевний результат, корисніша за систему з трохи вищим балом, яка віддає вам усе з однаковою впевненістю.

Що спитати перед підписанням

Чотири питання, і всі вони про одне: зробити цифру достатньо конкретною, щоб її можна було перевірити.

• На якому наборі вимірювали і хто перевіряв його вручну?
• Які різновиди документів покриті й який був результат на найслабшому з них?
• Цифра описує налаштований набір чи новий?
• Що відбувається з випадками, які система розпізнала неправильно: їх підсвічують чи вони лягають у результат так само, як і решта?

Постачальник, який зробив цю роботу, відповідає на всі чотири без запинки, бо йому довелося відповісти на них усередині ще до того, як щось публікувати. Постачальник, який ухиляється, називає цифру, яку сам не допитував, і саме ви дізнаєтеся, що вона ховала.

Приклад того, як виміряна цифра виглядає на практиці, включно з тим, де вона тримається і чого ми свідомо не стверджуємо поруч із нею, — кейс із витягом звітності SEC.