Авторами разработки стали исследователи управления экспериментальных систем машинного обучения Сбербанка. В открытой модели четыре миллиарда параметров. Проверки доступны для русского и английского языков, при этом пользователь определяет и требования к ответам, и шкалу оценивания.

Pollux умеет разбирать разговоры с несколькими обменами репликами. Также она оценивает работу систем, дополняющих ответы сведениями из внешних источников, и порядок обращения ИИ-агентов к инструментам.

Директор по развитию технологий искусственного интеллекта Сбербанка Сергей Марков рассказал, что основу обучения составил обширный массив примеров, размеченных экспертами. Команда также детально описала критерии проверки. Оба результата работы — разметку и критерии — сделали открытыми для исследователей.

В пресс-службе пояснили, что традиционный подход предполагает проверку с помощью больших языковых моделей. При большом числе ответов на это уходит много вычислительных ресурсов. Локальное использование компактной Pollux позволяет уменьшить эти расходы.

От разработки ожидают более быстрого обнаружения ошибок нейросетей. Кроме того, она должна помочь улучшить качество систем ИИ и сделать их применение безопаснее.