Разработка ученых НГУ позволяет повысить точность и надежность ответов нейросети и снизить риск галлюцинаций

Проект RAGU представлен командой разработчиков лаборатории прикладных цифровых технологий Международного научно-образовательного математического центра НГУ. Его концепция лежит в основе чат-бота «Менон», разрабатываемого ими для абитуриентов НГУ. Об этом CNews сообщили представители НГУ.

RAGU (Retrieval-Augmented Graph Utility) — открытая программная библиотека, призванная интегрировать графы знаний с большими языковыми моделями (LLM), позволяющая повысить точность и надежность ответов и снизить риск галлюцинаций в них. Ее архитектура близка к подходу GraphRAG, но основана на принципе «поэтапного» построения графа знаний: используется многошаговый процесс и дообученная меньшая модель для первого шага, что снижает требования к ресурсам.

Научный сотрудник лаборатории прикладных цифровых технологий Международного научно-образовательного математического центра НГУ Иван Бондаренко объяснил, что ключ к успеху лежит в объединении графов знаний и современных языковых моделей, что позволяет повысить точность и снизить риск галлюцинаций в ответах.

«Стартовая идея RAGU — открыть доступ к инструментам для эффективной синтезированной работы графов знаний и LLM. Наша программная открытая библиотека обеспечивает интеграцию больших языковых моделей с графами знаний для повышения точности, надежности и снижения галлюцинации ответов больших языковых моделей на вопросы пользователя. Мы применили подход, основанный на многошаговой работе — специальным образом дообучили генеративную нейросеть быть эффективным инструментом построения графа знаний, и делать это не за один шаг, а многошагово. Такой подход позволяет снизить требования к аппаратному обеспечению и ускорить процесс. При оригинальном подходе для эффективного построения графа знаний часто требовались огромные языковые модели (до ~32 млрд параметров). Наш подход уменьшил размер до около 600 млн параметров за счет дообучения и многошаговой архитектуры, сохранив или даже повысив качество по сравнению с традиционными решениями в рамках методологии GraphRAG», — сказал исследователь.

Проект привлек участников из разных городов и вузов России, что подчеркивает его всероссийскую географию. Помимо студентов и сотрудников НГУ, в нем приняли участие представители Московского государственного университета им. М.В. Ломоносова, Балтийского Федерального университета им. Иммануила Канта, Университета науки и технологий МИСИС, Дальневосточного федерального университета, Университета ИТМО: Иван Бондаренко (НГУ), Михаил Комаров (НГУ), Яна Дементьева (НГУ), Роман Шувалов (НГУ), Никита Кукузей (МГУ), Илья Мызников (БФУ им. И. Канта), Александр Кулешевский (МИСИС), Стас Штука (ДВФУ), Матвей Соловьев (ИТМО) и Федор Тикунов (НГУ).

Почему виртуализация на базе открытых решений подходит для критической инфраструктуры Импортонезависимость

«Саму концепцию придумали не мы. Идея архитектуры GraphRAG взята нами из статьи Microsoft, вышедшей год назад. Она оказалась хорошей, нами был замечен ряд недостатков: очень долгая процедура построения графа знаний и недетерминированный результат. Мы же смогли ускорить процесс и улучшить надежность за счет нашего подхода. Архитектура включает многошаговую настройку и дообучение меньшей модели, что позволяет снизить размер модели и аппаратные требования. Граф знаний строится на вершинах — именованных сущностях и дугах — взаимосвязях между ними. Это позволяет формировать понятный для человека и надежный граф мира, отделенный от «чёрного ящика» нейронной сети», — сказал Иван Бондаренко.

RAGU уже сейчас является основой для ускорения процессов и демонстрирует преимущество по скорости относительно крупных моделей. Иван Бондаренко заявляет о планах написать научную статью о библиотеке и ее применении. В дальнейшем она будет развиваться и переноситься в движок «Менона» внутри НГУ.