Поделиться
Студент третьего курса Института интеллектуальной робототехники НГУ разработал демоверсию переводчика русского жестового языка на основе технологий ИИ
Ярослав Чеканов, студент третьего курса Института интеллектуальной робототехники НГУ, создал программу RSL Interpreter, которая позволяет переводить жесты в текст. Приложение основано на технологиях искусственного интеллекта, работает на ПК в режиме реального времени и на мобильных устройствах. На текущий момент поддерживает только дактиль (жестовая азбука), в дальнейшем Ярослав планирует доработать модель, сделав ее более устойчивой, добавить больше жестов для перевода и обратный перевод. Об этом CNews сообщили представители НГУ.
Студенты Института интеллектуальной робототехники НГУ уже с третьего курса начинают работать над реальными проектами, которые направлены на решение задач индустриальных партнеров и разных социально-значимых задач. В программу обучения включен специальный предмет «Управление производственным процессом и разработка программного обеспечения». Идея создать переводчик русского жестового языка пришла Ярославу именно в ходе обучения по данному курсу, студенту хотелось разработать что-то новое, при этом связанное с искусственным интеллектом.
«Для создания приложения, над которым я работал самостоятельно, мне пришлось изучить русский жестовый язык. Очень трудоемкой была задача собирать огромный датасет (массив данных для обучения модели) и сделать тестовое решение на нем. Однако оно оказалось удачным. Я собрал приложение в исполняемый файл. Оно читает изображение с видеокамеры до момента, пока не будет закончен перевод, который в дальнейшем выводится на экран», – сказал Ярослав Чеканов.
На рынке есть подобное решение, которое предлагает Сбербанк, однако отличие разработки Ярослава в том, что использована другая архитектура, а само приложение работает быстрее и результат перевода более точный.
«Мой проект имеет важное социальное значение: он не только способствует инклюзивности, но и открывает новые возможности взаимодействия для людей с ограниченными возможностями. Кроме того, проект может быть интересен специалистам в области обучения жестовому языку, машинного обучения и лингвистам, изучающим эту форму коммуникации. Во многом мне помог мой наставник — Михаил Витальевич Филиппов. Именно благодаря ему я пришел к уникальному решению этой сложной задачи. На текущий момент готовы версии приложения для компьютера и телеграм-бот, которому можно присылать видео для перевода. Также на днях я завершил разработку мобильного приложения. В дальнейшем я собираюсь представить свой проект в рамках трека «Делаю» от «ТвойХод», — отметил Ярослав Чеканов.
Поделиться
Короткая ссылка
