В «Яндекс Маркете» её используют, например, для сбора статистики.

• YTsaurus Flow обрабатывает клики, лайки и другие события в интернете по мере их появления, рассказали в «Яндексе». Благодаря этому алгоритмы быстрее замечают, как изменились интересы пользователей и что происходит в интернете.
• Это позволяет быстрее распознавать действия мошенников, точнее рекомендовать товары, книги, фильмы и так далее. Обычно подобные данные накапливают и обрабатывают с задержкой до нескольких часов.
• Технология доступна под лицензией Apache 2.0, её исходный код компания выложила на GitHub.
• С помощью этого решения можно готовить данные для обучения ML-моделей, обновлять информацию для сайтов и приложений, считать просмотры, клики и заказы. Технология рассчитана на высокую нагрузку и обрабатывает каждое событие ровно один раз, не теряя и не дублируя данные.
• Решение работает в рамках открытой платформы YTsaurus для хранения и обработки больших данных. Его уже используют в «Яндексе»: «Маркету» технология помогает быстрее собирать статистику, антифроду — выявлять злоумышленников, «Рекламе» — подбирать интересные предложения.

«Яндекс» опубликовал в открытом доступе исходный код YTsaurus — платформы для работы с большими данными

33

22

11