Сбербанк разрабатывает мультимодального медицинского диагностического ассистента на базе GigaChat
Ученые Лаборатории искусственного интеллекта и Центра индустрии здоровья Сбербанка приступили к созданию GigaPevt — мультимодального медицинского диагностического ассистента на базе большой языковой модели GigaChat. В основе новой технологии — применение бесконтактных методов измерения медицинских параметров в сочетании с диалоговыми возможностями современных больших языковых моделей. Об этом CNews сообщили представители Сбербанка.
Первый компонент ассистента значительно расширяет границы восприятия человека: технология дистанционной фотоплетизмографии позволяет по видео лица оценить ключевые социодемографические показатели и некоторые медицинские параметры, например, значение индекса массы тела. А его второй компонент, основанный на модели GigaChat, помогает грамотно выстроить и реализовать сценарий медицинской консультации.
У технологии большой потенциал применения в телемедицине: она позволяет автоматизировать наиболее рутинные этапы медицинского приема и значительно повысить эффективность работы врача.
Научная работа, которая описывает технологию GigaPevt, есть в открытом доступе.
Сергей Жданов, директор Центра индустрии здоровья Сбербанка: «Внедрение искусственного интеллекта в медицину — это важная работа, которая позволяет повышать качество оказания медицинской помощи. На базе ИИ мы реализуем несколько проектов. Так, на искусственном интеллекте основан наш цифровой помощник врача ″ТОП-3″: он анализирует жалобы пациента и предлагает три наиболее вероятных диагноза из 265 групп диагнозов. ″ТОП-3″ делает диагностику более эффективной и точной. Сервис уже работает в 10 регионах России, врачи поставили с его помощью 20 млн предварительных диагнозов.
Наша нейросетевая модель GigaChat в начале этого года успешно сдала экзамен на врача по направлению ″лечебное дело″, обучившись у специалистов Центра имени Алмазова. Сейчас в сотрудничестве с Санкт-Петербургским медицинским университетом имени Павлова мы углубляем экспертные знания модели в конкретных областях медицины. Развитием GigaChat занимается большая профессиональная команда, что помогает быстро совершенствовать нашу модель. Мы не останавливаемся на достигнутом и ведем постоянную работу по применению технологий искусственного интеллекта в медицине, и GigaPevt внесет в это существенный вклад».