Щоденна ринкова аналітика для світової торгівлі зерном — у продакшені з 2013 року.

Контекст

Ціна з учорашнього дня гірша, ніж її відсутність.

Трейдери, переробники, брокери й експортери на світових ринках зерна та олійних беруть на себе реальні гроші під цифри, які змінюються щодня. Партія, оцінена за вчорашнім базисом або за неправильно прочитаним прогнозом USDA, — це не похибка округлення, а маржа на угоді.

Тому таким людям не потрібне сховище даних. Їм потрібне одне місце, яке можна відкрити до початку дня, якому можна вірити без перехресної перевірки й до якого хочеться повертатися. Інженерно це складніше, ніж звучить: щойно дані запізнюються, неповні або тихо неправильні — продукт провалив єдину свою роботу.

Виклик

Дані ринку існували. Просто не в одному місці.

Те, що потрібно аналітику, розкидане по біржах, державних агенціях і регіональних спот-ринках. Ф'ючерси та валюти приходять одним типом стрічки, звіти USDA про попит і пропозицію — за календарем публікацій, спот-ціни — з регіональних джерел, у кожного з яких свій формат, свої особливості й своє уявлення про те, коли вони готові.

Зібрати це один раз — проєкт. Збирати щоранку роками, поки джерела без попередження змінюють формати, а нові ринкові напрями продовжують додаватися, — задача іншого порядку, і саме її треба було розв'язати. До того ж платформа мала обслуговувати ринок, який читає більш ніж однією мовою, і бути комерційним продуктом із передплатниками, а не внутрішнім дашбордом.

Рішення

Платформа, побудована навколо безперервного збору даних, а не разових імпортів.

Ми побудували платформу ринкової аналітики, центр ваги якої — конвеєр даних. Заплановані воркери забирають ф'ючерси, валюти, спот-ціни та дані USDA за їхніми власними графіками, нормалізують їх і зводять у єдину модель, що охоплює близько п'ятнадцяти ринкових напрямів — серед них ф'ючерси, спот-ціни, врожай і виробництво, експорт, торгівля, фрахт, результати тендерів, компанії, новини та ринкові огляди.

Згори лежить та частина, якої торкається клієнт: інтерактивні графіки й ринковий огляд для поточних та історичних цін, аналіз попиту й пропозиції по країнах на основі звітів USDA, повнотекстовий пошук по архіву, а також експорт у PDF та Excel для тих, хто забирає цифри у власні моделі. Для клієнтів, які взагалі не хочуть виходити зі своїх систем, є API ринкових даних із тими самими показниками.

Оскільки це комерційний продукт, непоказна половина важить не менше: підписки й доступ за пейволом, багатомовний інтерфейс, адмін-інструменти, щоб редакція завантажувала й виправляла дані без інженера, і моніторинг, який показує зламане джерело раніше, ніж передплатник помітить пропуск. Працює на Django і PostgreSQL зі збором даних через Celery — це супровідна деталь, а не суть.

Результат

Досі працює й досі розвивається — понад десять років потому.

Платформа безперервно в продакшені з 2013 року. Це платний продукт із передплатниками, а його ринкові звіти охоплюють 10 000+ компаній у світі — цю цифру охоплення публікує сам AgroChart, і ми наводимо її саме як їхню, а не як власний вимір.

Результат, за який ми відповідаємо самі, — довговічність. Джерела даних змінювали формати, ринкові напрями додавалися, платформу неодноразово розширювали — і вона щоранку продовжувала публікувати. Більшість систем такого віку замінюють або тихо кидають; ця досі є продуктом.

Наша роль

Розробник у співпраці довжиною в десятиліття.

Наша роль тут — інженерна, і про це варто сказати точно. AgroChart не наш продукт: ринкова експертиза, редакційні рішення, стосунки з клієнтами й бренд належать компанії, яка його веде. Наш внесок — система під ним: побудувати її, а далі продовжувати будувати рік за роком.

Це водночас найяснiший приклад того, як ми воліємо працювати з довгограючими продуктами. Не здача, що закінчується на передаванні, а постійна інженерна співпраця, де ті самі люди, які написали конвеєр збору даних, досі його й розширюють. Саме тому система з 2013 року змогла й далі вбирати нові джерела та нові ринкові напрями, а не закам'яніти в щось, чого ніхто не наважується торкатися.

Побудовано на: Django · PostgreSQL · Celery для планового збору даних · Redis · повнотекстовий пошук · експорт у PDF та Excel · підписки · багатомовний інтерфейс · продакшен-моніторинг.

Читати далі