«Яндекс» выложил в опенсорс Alice AI Foundation LLM — претрейн-версию своей новой большой языковой модели, обученной с нуля. Разработчики могут использовать ее как в исследовательских, так и в коммерческих проектах благодаря свободной лицензии Apache 2.0. Об этом Sostav рассказали в пресс-службе «Яндекса».

Новая модель — это экспериментальная версия, на которой «Яндекс» тестирует архитектурные решения для своей будущей единой рассуждающей модели (ЕРМ). Рассуждающая модель ляжет в основу агентных возможностей «Алисы AI», благодаря которым пользователи смогут поручать ей выполнение конкретных действий.

Alice AI Foundation LLM работает на архитектуре MoE (Mixture of Experts) и включает 80 млрд параметров, из которых в моменте активны 3 млрд — это обеспечивает скорость и экономичность ее работы.

В модель заложены способности к рассуждению и работе в агентных сценариях. За счет этого она демонстрирует высокую эффективность в сложных логических заданиях и программировании.

Для оценки знаний модели, актуальных для русскоязычных пользователей, «Яндекс» разработал бенчмарки WikiWebFacts и HardMultiQA. WikiWebFacts состоит из пар «короткий вопрос — короткий ответ» и проверяет знание дат, определений, событий и персоналий на основе материалов онлайн-энциклопедий и частотных агрегированных поисковых запросов. HardMultiQA построен на основе анонимизированного потока запросов к «Алисе AI» и охватывает более редкие области знаний: от медицины и права до ИТ и искусства.

«Яндекс» выложил оба бенчмарка в открытый доступ вместе с моделью, чтобы разработчики и исследователи могли сами воспроизвести результаты и сравнивать между собой любые модели. Вместе с наборами задач компания опубликовала эталонные ответы и протокол оценки.

При обучении модели «Яндекс» улучшил работу оптимизатора — программы, управляющей процессом обучения. Компания также оптимизировала подготовку качественных обучающих данных и обогатила базу знаний модели в области права, медицины и математики.