искусственный интеллект

На главную

Новые технологии помогают понять смысл предложений при переводе

Технологии машинного перевода, несмотря на все усилия ученых и разработчиков, по-прежнему далеки от совершенства. Если перевод отдельных слов, как правило, вопросов не вызывает, то с предложениями ситуация все еще очень сложная. Но в MIT сделали важный шаг на пути решения этой проблемы.

Новые подходы для известной проблемы

Группа ученых из MIT, работающая над исследованиями в области обработки естественного языка (Natural language processing, NLP), в начале февраля 2021 г. представила новое решение, которое должно помочь в вопросе адекватного перевода предложений с одного языка на другой без нарушения смысла. В основе программно-аппаратной системы, которая получила название SpAtten лежит специальный компьютер и особый алгоритм обработки языка. Вместо того, чтобы переводить каждое слово в предложении, присваивая им одинаковую важность, SpAtten концентрируется на ключевых словах, что позволяет выявить положительную или отрицательную коннотацию или спрогнозировать, какие слова должны быть следующими.

Ученые ожидают, что методика на базе ИИ позволит добиться более высокого качества перевода при меньших требованиях к вычислительным ресурсам. «Наша система похожа на то, как человеческий мозг обрабатывает язык, — говорит Ханруи Ван, автор статьи и аспирант кафедры электротехники и компьютерных наук. — Люди читают очень быстро и сосредотачиваются только на ключевых словах. Именно эта идея лежит в основе SpAtten».

Архитектура, лежащая в основе SpAtten, обеспечивает высокую степень параллельной обработки данных, что позволяет анализировать множество слов одновременно

Идея применять для переводов NLP не нова, ее начали активно использовать примерно 5-6 лет назад, в том числе для таких платформ как Google BERT и OpenAI GPT-3. Ключевым нововведением механизма, предложенного в MIT, является избирательность — он может делать выводы о том, какие слова или фразы в предложении являются наиболее важными, на основе сравнения со словосочетаниями, с которыми алгоритм ранее сталкивался на этапе обучения. Но, с технической точки зрения, подход требует очень больших вычислительных ресурсов, более того, процессоры общего назначения, которые используются в массовых компьютерах, не обеспечат здесь оптимальную производительность. И проблема будет усугубляться по мере усложнения моделей NLP, особенно для длинных предложений.

Отсекая лишнее

Система SpAtten призвана хотя бы отчасти решить этот вопрос. Исследователи разработали специальный алгоритм на основе таких методов, как «каскадное отсечение» (cascade pruning) и «прогрессивное квантование» (progressive quantization), которые обеспечивают более эффективную обработку данных меньшими усилиями. Архитектура вычислительной системы, лежащей в основе SpAtten, обеспечивает высокую степень параллельной обработки данных, что позволяет анализировать множество слов одновременно. В целом программные и аппаратные компоненты системы подобраны таким образом, чтобы исключить ненужные или неэффективные манипуляции с данными, сосредоточившись только на задачах, необходимых для достижения цели пользователя.

Пока что исследователи разработали только симуляцию аппаратной конструкции SpAtten, которая работает на процессорах общего назначения (специализированный физический чип еще не создан), но согласно полученным результатам, решение дает многократное преимущество в скорости и качестве перевода по сравнению с другими, доступными на рынке.

«Развитие систем перевода на базе ИИ – это наглядный пример того, как меняются роль и возможности человека. Мы используем одну из систем ИИ-переводов у себя в компании уже больше трех лет. Все эти годы система обучается, наши сотрудники поправляют ее, указывают на ошибки. В этом смысле их роль изменилась, задачи стали немного другими. Но также изменились бизнес-процессы, в которых система задействована, — говорит генеральный директор SAS Россия/СНГ Александр Тихонов. – Идея применять возможности искусственного интеллекта для переводов возникла очень давно, но в этой области по-прежнему очень много работы, и в нее вовлечены лингвисты, математики, бизнес-консультанты, специалисты по бизнес-процессам и дата саентисты. Это базовая задача из области коммуникаций и межкультурного взаимодействия, от качества решения которой зависит очень многое, к примеру, дальнейшее развитие голосовых помощников и космических шаттлов, открытия в области истории и этнографии, возможность реализации новых бизнес-моделей и общаться с людьми из любых стран без переводчиков».

Исследователи считают, что SpAtten может быть полезен коммерческим компаниям, которые используют в работе модели NLP. В дальнейшем, планируется перенести успешный опыт в сферу интернета вещей и персональных устройств, поскольку, как отмечает Ханруи Ван: «В будущем многочисленные устройства IoT будут взаимодействовать с людьми посредством голоса и естественных языков».

Другие статьи

Зачем создавать межгосударственный совет по этике ИИ

Зачем создавать межгосударственный совет по этике ИИ

Искусственный интеллект — это паровой двигатель 21 века, который приведет к новой промышленной революции. Но у внедрения ИИ есть и оборотная сторона: сокращение рабочих мест, распространение автоматически генерируемых «фейк» новостей, внедрение систем тотальной слежки. Бернард Марр (Bernard Marr), футуролог и эксперт в области ИИ уверен, что для контроля ИИ необходимо создавать межгосударственные регулирующие органы, которые смогут остановить гонку ИИ-вооружений и выработать правила этического использования искусственного интеллекта.  

Читать полностью

Как Kia применяет искусственный интеллект

Как Kia применяет искусственный интеллект

Технологии искусственного интеллекта глубоко проникли в производственные процессы многих мировых компаний, включая крупнейших автопроизводителей. Возможности ИИ используются в том числе для повышения качества продукции и уровня удовлетворенности клиентов. Как это выглядит в практической плоскости, можно рассмотреть на примере сотрудничества Kia Motors America и компании SAS.

Читать полностью

Испорченные модели: как за один день потерять весь капитал с помощью искусственного интеллекта

Испорченные модели: как за один день потерять весь капитал с помощью искусственного интеллекта

В новый год с новым Ops-ом. Вслед за DevOps и DataOps пришел ModelOps. Если вы ещё не слышали об этой методологии, самое время познакомиться с этим термином. Скоро он прочно осядет среди основных ИТ-трендов.

Читать полностью

Новости

Сотни случаев загрязнения воды обнаружены благодаря ИИ

Связь экологии и экономики гораздо более тесная, чем принято считать. Вопросы защиты окружающей среды это не только про чистый воздух в городах и заботу о будущем поколении. Нарушение экологического баланса ведет к достаточно дорогостоящим последствиям для глобальной экономики. И ученые с помощью ИИ надеются хотя бы немного затормозить негативные процессы.

30/04

Читать полностью

ИИ считывает сигналы мозга и создает портреты, которые нравятся

Ученые построили специальный ИИ-алгоритм, который способен определять субъективные предпочтения в изображении лиц и создавать портреты, адаптированные таким образом, чтобы вызывать положительные эмоции у конкретных людей. Результаты исследования могут быть использованы, например, для моделирования предпочтений и принимаемых людьми решений, а также для выявления бессознательных импульсов.

15/04

Читать полностью

Искусственный интеллект научили скепсису при управлении беспилотниками

Ученые из MIT разработали новый алгоритм искусственного интеллекта, основанный на игровых технологиях, который, как ожидается, поможет самоуправляемым транспортным средствам лучше ориентироваться в физическом мире и снизит вероятность ошибочных действий во время движения.

09/04

Читать полностью

Новые технологии помогают понять смысл предложений при переводе

Технологии машинного перевода, несмотря на все усилия ученых и разработчиков, по-прежнему далеки от совершенства. Если перевод отдельных слов, как правило, вопросов не вызывает, то с предложениями ситуация все еще очень сложная. Но в MIT сделали важный шаг на пути решения этой проблемы.

29/03

Читать полностью

В США оценили позиции стран-конкурентов в гонке ИИ

США пока лидируют в сфере создания технологий искусственного интеллекта. Китай быстро догоняет Штаты, а Европейский Союз увеличивает отставание от обоих лидеров в сфере ИИ. Таковы выводы нового отчета ITIF.

19/03

Читать полностью
Все новости
Вернуться на главную