Яндекс открыл YTsaurus Flow, который почти убрал 10-часовую задержку данных
Flow обрабатывает клики, лайки и другие события по мере появления, причем каждое событие проходит ровно один раз.
В Рекламе система принимает более 100 ГБ данных и миллионы событий каждую секунду.
Подготовка данных для дообучения некоторых моделей занимала больше 10 часов, а теперь задержка почти исчезла.
Код доступен по Apache 2.0, включая коммерческое применение.
Почему важно
Потоковая обработка позволяет моделям, антифроду и продуктовым системам реагировать на текущее поведение, а не на вчерашний снимок данных.