«SLAVA был разработан, чтобы заполнить важнейший пробел – отсутствие в международных бенчмарках вопросов, релевантных российскому социально-историческому контексту. Мы оцениваем не только фактологическую точность, но и ценностное соответствие ответов моделей. Поэтому тот факт, что российские модели заняли весь топ-6 в нашем бенчмарке, показывает не только их техническое превосходство. Это свидетельствует о глубокой интеграции национальных ценностей в архитектуру отечественных ИИ-систем», – отметил Павел Голосов, директор Института общественных наук Президентской академии, к.т.н.
SLAVA включает 14 тыс. вопросов по истории, обществознанию, политологии, географии и национальной безопасности. Они взяты из официальных баз, разработанных для государственных экзаменов и проверочных работ.
Особенность бенчмарка в том, что он способен учитывать чувствительность каждого вопроса. ИИ должен различать, является ли тема спорной или это общепризнанный факт. Так, бенчмарк позволяет оценить не только фактологическую точность, но и соответствие ответов моделей национальным ценностям и мировоззренческим установкам.
Рейтинг прокомментировали в «Группе Астра», крупнейшем разработчике ИИ-решений и вендоре B2B-решений.
«Знаковый результат, если учесть, что год назад лидировали иностранные решения, сегодня Alice AI, YandexGPT и Gigachat демонстрируют превосходство в работе с национальным контекстом. Планомерная работа по развитию ИИ в России в целом продолжается и один из наиболее острых вопросов — это безопасность и доверенность. Мы в «Группе Астра» развиваем собственный продукт «Тессеракт», который обеспечивает безопасную инфраструктуру внутри корпоративного контура — полный контроль данных, экономия времени до 40% и снижение затрат на 25%, и в том числе это работает для моделей из ТОП-6 списка. Важно понимать, что технологическое лидерство трансформируется в рыночное преимущество», — говорит Станислав Ежов, директор по ИИ «Группы Астра».
