искусственный интеллект

На главную

Новые технологии помогают понять смысл предложений при переводе

Технологии машинного перевода, несмотря на все усилия ученых и разработчиков, по-прежнему далеки от совершенства. Если перевод отдельных слов, как правило, вопросов не вызывает, то с предложениями ситуация все еще очень сложная. Но в MIT сделали важный шаг на пути решения этой проблемы.

Новые подходы для известной проблемы

Группа ученых из MIT, работающая над исследованиями в области обработки естественного языка (Natural language processing, NLP), в начале февраля 2021 г. представила новое решение, которое должно помочь в вопросе адекватного перевода предложений с одного языка на другой без нарушения смысла. В основе программно-аппаратной системы, которая получила название SpAtten лежит специальный компьютер и особый алгоритм обработки языка. Вместо того, чтобы переводить каждое слово в предложении, присваивая им одинаковую важность, SpAtten концентрируется на ключевых словах, что позволяет выявить положительную или отрицательную коннотацию или спрогнозировать, какие слова должны быть следующими.

Ученые ожидают, что методика на базе ИИ позволит добиться более высокого качества перевода при меньших требованиях к вычислительным ресурсам. «Наша система похожа на то, как человеческий мозг обрабатывает язык, — говорит Ханруи Ван, автор статьи и аспирант кафедры электротехники и компьютерных наук. — Люди читают очень быстро и сосредотачиваются только на ключевых словах. Именно эта идея лежит в основе SpAtten».

Архитектура, лежащая в основе SpAtten, обеспечивает высокую степень параллельной обработки данных, что позволяет анализировать множество слов одновременно

Идея применять для переводов NLP не нова, ее начали активно использовать примерно 5-6 лет назад, в том числе для таких платформ как Google BERT и OpenAI GPT-3. Ключевым нововведением механизма, предложенного в MIT, является избирательность — он может делать выводы о том, какие слова или фразы в предложении являются наиболее важными, на основе сравнения со словосочетаниями, с которыми алгоритм ранее сталкивался на этапе обучения. Но, с технической точки зрения, подход требует очень больших вычислительных ресурсов, более того, процессоры общего назначения, которые используются в массовых компьютерах, не обеспечат здесь оптимальную производительность. И проблема будет усугубляться по мере усложнения моделей NLP, особенно для длинных предложений.

Отсекая лишнее

Система SpAtten призвана хотя бы отчасти решить этот вопрос. Исследователи разработали специальный алгоритм на основе таких методов, как «каскадное отсечение» (cascade pruning) и «прогрессивное квантование» (progressive quantization), которые обеспечивают более эффективную обработку данных меньшими усилиями. Архитектура вычислительной системы, лежащей в основе SpAtten, обеспечивает высокую степень параллельной обработки данных, что позволяет анализировать множество слов одновременно. В целом программные и аппаратные компоненты системы подобраны таким образом, чтобы исключить ненужные или неэффективные манипуляции с данными, сосредоточившись только на задачах, необходимых для достижения цели пользователя.

Пока что исследователи разработали только симуляцию аппаратной конструкции SpAtten, которая работает на процессорах общего назначения (специализированный физический чип еще не создан), но согласно полученным результатам, решение дает многократное преимущество в скорости и качестве перевода по сравнению с другими, доступными на рынке.

«Развитие систем перевода на базе ИИ – это наглядный пример того, как меняются роль и возможности человека. Мы используем одну из систем ИИ-переводов у себя в компании уже больше трех лет. Все эти годы система обучается, наши сотрудники поправляют ее, указывают на ошибки. В этом смысле их роль изменилась, задачи стали немного другими. Но также изменились бизнес-процессы, в которых система задействована, — говорит генеральный директор SAS Россия/СНГ Александр Тихонов. – Идея применять возможности искусственного интеллекта для переводов возникла очень давно, но в этой области по-прежнему очень много работы, и в нее вовлечены лингвисты, математики, бизнес-консультанты, специалисты по бизнес-процессам и дата саентисты. Это базовая задача из области коммуникаций и межкультурного взаимодействия, от качества решения которой зависит очень многое, к примеру, дальнейшее развитие голосовых помощников и космических шаттлов, открытия в области истории и этнографии, возможность реализации новых бизнес-моделей и общаться с людьми из любых стран без переводчиков».

Исследователи считают, что SpAtten может быть полезен коммерческим компаниям, которые используют в работе модели NLP. В дальнейшем, планируется перенести успешный опыт в сферу интернета вещей и персональных устройств, поскольку, как отмечает Ханруи Ван: «В будущем многочисленные устройства IoT будут взаимодействовать с людьми посредством голоса и естественных языков».

Другие статьи

Какие преимущества дает технология потоковой аналитики для решения задач по обеспечению безопасности

Какие преимущества дает технология потоковой аналитики для решения задач по обеспечению безопасности

Пользовательские устройства ежесекундно генерируют триллионы событий, данные о которых оседают в хранилищах. Накапливать такого рода информацию бессмысленно и дорого. Компании ищут способы монетизации сведений, собранных, например, о клиентах. Крупные игроки, инвестирующие в дата-центры и персонал, научились анализировать колоссальные объемы информации, делать выводы и даже составлять прогнозы. Анализ больших объемов данных в режиме реального времени позволяет мгновенно реагировать на происходящее, как того требует ситуация. 

Читать полностью

Александр Миронов, SAS: Индивидуальные предложения не придумать заранее: их формируют алгоритмы прямо при общении с клиентом

Александр Миронов, SAS: Индивидуальные предложения не придумать заранее: их формируют алгоритмы прямо при общении с клиентом

Эффективность маркетинговых кампаний может колебаться в широком диапазоне. Многие клиенты воспринимают звонки и сообщения с предложениями услуг как спам. Изменить ситуацию мог бы индивидуальный подход, когда клиенту предлагают именно то, что ему в данный момент необходимо. Как это сделать, в интервью CNews рассказал Александр Миронов, руководитель практики по клиентской аналитике и CRM, SAS Россия и СНГ.

Читать полностью

Как работает экосистема сервисов в облачной аналитике

Как работает экосистема сервисов в облачной аналитике

Аналитика и большие данные, как и другие компоненты ИТ-ландшафта компании, переходят в облако. Чтобы полностью раскрыть потенциал облачных платформ, требуется глубокая интеграция с базовой инфраструктурой и сопутствующей экосистемой сервисов. С мая текущего года аналитическая платформа SAS Viya обеспечивает возможность такой интеграции для трех ведущих облачных поставщиков IaaS — MS Azure, AWS и Google Cloud.

Читать полностью

Новости

Когда ИИ наделят машинным воображением

Команда исследователей из Университета Южной Калифорнии (USC) разработала технологию, помогающую искусственному интеллекту представить себе несуществующий объект. Это можно считать аналогом воображения. Новый метод поможет в разработке лекарств и, очевидно, найдет применение в сфере автономных транспортных средств.

02/08

Читать полностью

Компания SAS получила награду в сфере защиты экологии

SAS в очередной раз получила признание за инновации в социальной сфере. В День защиты тропических лесов, компании присуждены премии Fast Company 2021 World Changing Ideas Awards и PRNEWS CSR & Diversity Awards 2021 за вклад в совместный проект с Международным институтом прикладного системного анализа (IIASA) по отслеживанию воздействия человека на тропические леса Амазонии.

28/07

Читать полностью

Чат-боты начинают объединяться в команды и разговаривать между собой

Практически каждая крупная организация уже обзавелась собственным чат-ботом. Он общается с клиентами, выполняет рутинные операции, помогает найти информацию или правильно задать вопрос. Будущее — за сообществами ботов-специалистов, управлять которыми будет мастер-бот. Об этом говорили участники организованной CNews Conferences онлайн-конференции «Чат-боты 2021: на пути к интеллектуальному помощнику».

28/07

Читать полностью

Новый алгоритм поможет беспилотным машинам отличить лето от зимы

Без GPS автономные транспортные средства легко теряют ориентацию. Однако новый алгоритм, разработанный в Калифорнийском технологическом институте, позволяет машинам «понимать», где они находятся, просто осматривая окружающее пространство. Подобные разработки были и ранее, но впервые технология работает независимо от сезонных изменений местности.

23/07

Читать полностью
Все новости
Вернуться на главную