К программной платформе «Каппа», разработанной в НГУ для управления данными ИИ, смогут присоединиться другие вузы

Новую разработку представили ученые Центра искусственного интеллекта Новосибирского государственного университета. С докладом «Фреймворк «Каппа»: управление датасетами и бенчмаркинг ИИ-моделей для доверительных систем искусственного интеллекта» выступил заведующий лабораторией аналитики потоковых данных и машинного обучения механико-математического факультета, ведущий научный сотрудник Центра искусственного интеллекта НГУ Евгений Павловский. По итогам выступления со стороны НГУ в адрес представителей других вузов было высказано предложение пользоваться «Каппой» бесплатно — через версию, размещенную на серверах НГУ. Существует также возможность установить фреймворк в собственном контуре вуза.

Фреймворк «Каппа» разработан в Центре искусственного интеллекта НГУ. Система управляет полным жизненным циклом наборов данных для обучения и контроля моделей ИИ: разметка, верификация, версионирование, публикация, бенчмаркинг моделей и телеметрия их эксплуатации.

«Качество модели искусственного интеллекта напрямую зависит от данных, на которых она обучалась. Из-за ошибок в данных и непрозрачности их происхождения многие модели так и не доходят до промышленной эксплуатации: заказчик не может проверить, на чем обучалась система, и не доверяет ей. «Каппа» решает обе проблемы: фреймворк поддерживает полный жизненный цикл датасетов — формирование, разметку, верификацию, версионирование и публикацию (в закрытом контуре, по запросу или открытую), а также жизненный цикл самих ИИ-моделей», — сказал Евгений Павловский.

Система гарантирует качество данных, воспроизводимость экспериментов и полную прослеживаемость: всегда зафиксировано, кто, когда и какую разметку внес. Найденную ошибку можно исправить и закрепить в новой версии датасета, а не повторять ее при каждом следующем обучении. Естественное продолжение работы с данными — бенчмаркинг: на подготовленных наборах можно измерять качество любых моделей, как собственных, так и публичных.

Существующие репозитории данных — Figshare, Zenodo, Mendeley Data, Dataverse и российская система ЭРИС — предназначены прежде всего для хранения и цитирования файлов. «Каппа» же целиком заточена под работу с датасетами для машинного обучения: разметку, верификацию, версионирование и бенчмаркинг. При этом фреймворк — не только программное обеспечение, но и концептуальная основа: он поддерживает подготовленный командой проект национального стандарта гуманитарной экспертизы внедрения ИИ в практики управления городом и реализует эту экспертизу как отдельный этап работы.

«Качество модели искусственного интеллекта определяется теми данными, которые мы подаем на вход. Именно из-за ошибок в данных множество моделей не доходит до промышленной эксплуатации, а непрозрачность происхождения данных рождает недоверие. И складывается ситуация «Мусор на входе — мусор на выходе». Мы же гарантируем качество датасетов, воспроизводимость экспериментов и полную прослеживаемость — видно авторство каждого, кто участвовал в подготовке данных», — отметил Евгений Павловский.

Механизм доверия в «Каппе» охватывает весь путь модели — от данных до эксплуатации. До обучения производится верификация датасета, контроль метрик смещения и перекрестная проверка разметки несколькими разметчиками, при обучении происходит фиксация версии данных и параметров, после обучения следует проверка на эталонных наборах, а при эксплуатации модуль телеметрии собирает статистику использования и контролирует ошибки, а при отклонениях сигнализирует, что модель пора переобучить.

Владимир Золотов, «Гринатом»: Сейчас любая корпорация считает необходимым внедрять ИИ для улучшения своих внутренних процессов КИИ в облаке

Новая программная платформа уже опробована при реализации реальных проектов. Самый масштабный проект на фреймворке — совместная работа с Государственной публичной научно-технической библиотекой СО РАН. Библиотека предоставила около 400 тыс. записей — оцифрованные карточки и их каталожные расшифровки, а в разметке участвовали около 100 сотрудников. «Каппа» вела статистику по каждому разметчику. Итогом стали обученная модель и контрольный бенчмарк, на котором можно проверять и другие алгоритмы.

Среди других применений — озвучка научных книг, паспортизация фасадов, работа с архивными документами и школьные датасеты. Самым первым проектом на фреймворке стали наборы данных, которые школьники собирали в лесу, фотографируя и описывая грибы и птиц. Сейчас команда Центра искусственного интеллекта НГУ работает над датасетом для оценки учебных результатов школьников.

В магистерской программе на Механико-математическом факультете НГУ уже действует обязательная практика сохранения студенческих датасетов: вместе с кодом курсовых и дипломных работ архивируются и наборы данных. По словам Евгения Павловского, такая практика в вузах почти не распространена, хотя дает прямой эффект: научный руководитель принимает результат по ясным критериям, и следующий студент продолжает работу — сначала разбирается в готовой, затем развивает ее дальше. Данная система уже продемонстрировала свою эффективность.

КИИ в облаке: как разделить зоны ответственности между провайдером и ИТ-службой КИИ в облаке

НГУ предложил университетам два варианта использования фреймворка. Первый подразумевает пользование бесплатной версией «Каппы», размещенной на серверах НГУ. Для этого достаточно зарегистрироваться на kappa.nsu.ru. При необходимости можно заключить соглашение о сотрудничестве. При этом НГУ оказывает техническую поддержку и предоставляет методические материалы. Второй вариант — приобретение лицензии на установку фреймворка в собственном контуре вуза: данные не покидают инфраструктуру университета. Это решение подходит для чувствительных данных — например, медицинских, доступ к которым регулируется решением этического комитета. Лицензия предоставляется на платной основе. Ее стоимость составляет 100 тыс. руб. в год. Кроме того, команда Центра искусственного интеллекта НГУ готова обсудить с конкретным вузом пилотный проект в течение 30 дней: специалисты оценят, насколько хорошо оформлены его датасеты для повторного использования, и помогут выявить возможные смещения в данных.

«Фреймворки редко монетизируются — за тот же PyTorch никто не платит. Ценность «Каппы» мы видим прежде всего в образовании и науке, поэтому нашей версией вузы могут пользоваться бесплатно. А для тех, кому данные должны оставаться в собственном контуре, мы сделали доступной локальную установку», — сказал Евгений Павловский.