искусственный интеллект

На главную

Испорченные модели: как за один день потерять весь капитал с помощью искусственного интеллекта

В новый год с новым Ops-ом. Вслед за DevOps и DataOps пришел ModelOps. Если вы ещё не слышали об этой методологии, самое время познакомиться с этим термином. Скоро он прочно осядет среди основных ИТ-трендов.

Зачем вдруг человечеству понадобилась новая методология, тем более сейчас, во времена, когда бизнесу не до жиру — быть бы живу? Виной тому искусственный интеллект. Методология нужна для того, чтобы с ним справится. ModelOps, или методология управления жизненным циклом моделей машинного обучения и аналитики, разрабатывает подходы и инструменты для того, чтобы получить, наконец, ощутимый эффект от внедрения моделей в производство.

В 2020 г. «Ростелеком» совместно с Tadviser провел исследование относительно эффектов внедрения решений на базе ИИ в российских компаниях. Это особенно интересно, так как обычно мы смотрим на результаты изучения компаний зарубежных, и всегда остается гадать, насколько их опыт релевантен для отечественного бизнеса. Здесь были опрошены 100 крупных российских организаций из ключевых отраслей российской экономики, включая добывающую и обрабатывающую промышленность, телеком, финансы, транспорт, торговлю и государственный сектор.

С одной стороны, кажется, что перспективы многообещающие: совокупный эффект от внедрения ИИ в 62 российских компаниях за 2019 г. составил 60 млрд руб. Большая часть крупных организаций перешла от этапа пилотирования к активному внедрению проектов с использованием технологий искусственного интеллекта, более 70% из них получают финансовые результаты от внедрения ИИ-решений. Более 90% респондентов не ожидают сокращения результативности от внедрения ИИ даже на фоне пандемии.

При этом последним ключевым выводом исследования указан интересный факт: лишь у 18% компаний экономические результаты от внедрения ИИ действительно подтверждены финансовыми службами. Сдерживающими факторами для использования ИИ-решений внутри компаний являются непонимание экономических выгод для бизнеса и низкая рентабельность таких проектов.

«Совокупный эффект от внедрения ИИ у компаний-респондентов составил, по итогам 2019 г., около 60 млрд руб. (более 27 млрд руб. составил дополнительный доход и более 32 млрд руб. — полученная экономия). При этом озвучиваемая респондентами оценка в большинстве случаев (79%) носит оценочный (субъективный) характер, — подчеркивают авторы. — Около трети опрошенных компаний затрудняются с оценкой результатов от внедрения ИИ-решений, либо еще не проводили ее».

При этом Gartner в своих прогнозах дает скромные цифры: до 2022 г. только 15% случаев использования методов ИИ (ML и DNNs) будут успешными. Кроме того, аналитики полагают, что к 2022 г. по крайней мере 50% проектов с использованием ML и AI не будет полноценно внедряться в промышленное исполнение.

Модель имеет обыкновение терять актуальность: данные и алгоритмы могут устареть и не учитывать изменившиеся условия


Мы видим, что в России компании относятся к ИИ положительно, даже несмотря на мрачные прогнозы Gartner. Здесь будет нелишне вспомнить ещё один опрос, который в 2019 г. проводила компания Microsoft. В этом опросе приняло участие 800 менеджеров высшего звена из Франции, Германии, Италии, Нидерландов, России, Швейцарии, Великобритании, США (выборка – 100 респондентов на страну).

Выводы интересные: Россия опережает США и Европу по активному внедрению искусственного интеллекта. Исследователи отметили, что «российские руководители используют возможности искусственного интеллекта (ИИ) для бизнеса активнее, чем их иностранные коллеги. 30% российских руководителей активно внедряют искусственный интеллект. В среднем, по миру этот показатель равен 22,3%, а, к примеру, во Франции — только 10%».

Глаза боятся — руки делают

В действительности, цифры статистики, особенно по ИИ, можно приводить как доказательство в пользу любых мнений. К примеру, мы хотим считать, что инструменты ИИ не дают эффекта — вот вам цифра в 15%. Можно найти и другие. Например, согласно опросу Gartner 2020 CIO Agenda Survey, ведущие организации собираются удвоить количество проектов искусственного интеллекта (ИИ) в течение следующего года. И делают они это явно не потому, что очень хотят потратить деньги на нерабочую технологию.

Еще одно исследование проводила компания IDC в 2019 г. Целью было понять, что же не так с искусственным интеллектом, почему проекты не взлетают и не оправдывают надежд. Оказалось, что примерно две трети компаний испытывают серьезные проблемы с тем, чтобы встроить уже построенные модели в бизнес-процессы и вывести свои ИИ-инициативы в промышленную эксплуатацию.

Чтобы не попасть под магию цифр, которые могут загипнотизировать и склонить к действию в любую нужную сторону, была разработана методология ModelOps. Риски, связанные с внедрением искусственного интеллекта, следует взять под контроль, а модели, используемые для машинного обучения, проверять, сравнивать, переобучать, отслеживать вносимые в них изменения, оценивать модельные риски.

Почему возникает модельный риск?

Модель имеет обыкновение терять актуальность. Она принимает в расчет данные и алгоритмы, которые могут устареть, не учитывать изменившиеся условия и новые вводные. Что мы наблюдаем прямо сейчас, во время пандемии, когда некоторые модели поначалу вынуждены были работать на исторических данных, тогда как ситуация вокруг изменилась самым неожиданным образом. Актуальные же данные не всегда возможно начать использовать быстро.

Но и без кризисов за моделями нужно пристально следить, тем более с ростом интереса к ИИ, когда они становятся все сложнее и используют непрозрачные алгоритмы. Для удобства такого контроля разрабатываются специальные инструменты и платформы для управления модельными рисками. Одно из таких решений — Model Risk Management — представил SAS.

Платформа помогает оптимально выстраивать бизнес-процессы этого управления, осуществлять мониторинг, хранить все модели в одном месте, отслеживать взаимосвязи между ними, пересматривать качество, актуальность и автоматически их валидировать. Среди преимуществ платформы: модели могут разрабатываться на любом языке. «Мы готовы подгружать модели из самых разных источников и на самых разных языках, включая open source. Следим за инновациями, трендами и потребностями наших пользователей и видим, что интеграция open source и промышленных инструментов очень важна. Так что со своей стороны мы делаем максимум, чтобы обеспечить техническую возможность управления open source моделями и их использования», — рассказали представители SAS.

Модели выходят из-под контроля

Если в организации не контролируют модель на каждом этапе ее жизненного цикла, то становится понятно, почему аналитики дают такой низкий процент внедрения моделей в производство. Испорченные модели не просто не работают или снижают эффективность предприятия. Так, например, низкое качество системы валидации моделей повышает нагрузку на персонал подразделения управления рисками в среднем на 15 человеко-дней за месяц. Но если бы дело было только в этом! Плохие модели приводят к существенным денежным потерям. Вспомним, как в 2019 г. ИИ (на базе суперкомпьютера K1, разработанного австрийской компанией 42.cx) за один день потерял 20,5 млн долларов, торгуя на фондовой бирже и теперь его владелец — Саматур Ли Кин-кан — судится с создателями, утверждая, что интеллект постоянно терял деньги, мало работал, создавая только 1 заявку по утрам, а иногда вообще простаивая днями, и вообще был изначально основан на ущербных алгоритмах. Этот суд называют первым процессом над искусственным интеллектом. Пострадавший требует компенсацию в 23 млн долларов.

Всё в том же 2019 г. Герман Греф предупредил, что с ИИ нужно быть осторожнее. «Искусственный интеллект, как правило, принимает решение в больших системах. Маленькая ошибка, закравшаяся в алгоритм, может приводить к очень большим последствиям. В нашей практике мы теряли большие деньги на этом. Из-за того, что машина совершала маленькую ошибку на больших объемах, мы теряли миллиарды рублей», — сказал он.

Большой брат следит за тобой

Именно потому, что модели могут быть не просто бесполезны, но и опасны, ими начали пристально интересоваться регуляторы. Первые регуляторные указания по управлению модельным риском (SR 11-7) выпустили еще в 2011 г. надзорные органы США. Затем методические рекомендации, которые требовалось выполнять, были изданы в Европе. Ожидалось, что после этих документов Центральный банк РФ также издаст нечто подобное для отечественных финансовых компаний. Однако официальных требований пока нет. В 2018 г. Центробанк выпустил только доклад для общественных консультаций, в котором дан обзор практик применения регуляторных и надзорных технологий (RegTech и SupTech).

«Перед участниками финансового рынка и регуляторами стоят принципиально новые вызовы, обусловленные появлением новых бизнес-моделей и стремительным развитием цифровых технологий, в том числе технологий машинного обучения, — пишут авторы. — Данный доклад содержит описание RegTech и SupTech, основные сферы их применения, международный опыт и информацию о наиболее приоритетных направлениях их развития, а также текущие проекты и перспективные инициативы по внедрению этих решений на российском финансовом рынке. Вопросы, связанные с правовым регулированием в сфере цифровых финансовых технологий, не рассматриваются».

Несмотря на то, что российские регуляторы пока не торопятся с внедрением жестких требований в сфере моделей и их применения ИИ, почва, очевидно, уже подготавливается. Именно поэтому методология ModelOps и платформы по управлению жизненным циклом моделей появились вовремя. Пока на них можно обратить внимание и ознакомиться без спешки. Когда в спину начнут подталкивать принятые законы, будет уже поздно.

Электронная книга
Создание успешного бизнес-плана внедрения ИИ

  • Что дает внедрение ИИ в процессы компании?
  • Как привлечь дополнительное финансирование и создать добавленную стоимость?
  • Как получить полную вовлеченность команды?
Скачать книгу

Другие статьи

SAS Viya: аналитические модели можно сразу запускать в «продакшн» без написания дополнительного кода

SAS Viya: аналитические модели можно сразу запускать в «продакшн» без написания дополнительного кода

Данные — это золотая руда, однако, чтобы добыть из нее полезные знания, необходимы комплексные инструменты, которые включают в себя элементы машинного обучения, обработки естественного языка, компьютерного зрения, интернета вещей. Платформа SAS Viya позволяет решить эту задачу за счет «композитного» искусственного интеллекта, in-memory вычислений и возможности запускать аналитические модели в производство без написания дополнительного программного кода.  

Какие преимущества дает технология потоковой аналитики для решения задач по обеспечению безопасности

Какие преимущества дает технология потоковой аналитики для решения задач по обеспечению безопасности

Пользовательские устройства ежесекундно генерируют триллионы событий, данные о которых оседают в хранилищах. Накапливать такого рода информацию бессмысленно и дорого. Компании ищут способы монетизации сведений, собранных, например, о клиентах. Крупные игроки, инвестирующие в дата-центры и персонал, научились анализировать колоссальные объемы информации, делать выводы и даже составлять прогнозы. Анализ больших объемов данных в режиме реального времени позволяет мгновенно реагировать на происходящее, как того требует ситуация. 

Александр Миронов, SAS: Индивидуальные предложения не придумать заранее: их формируют алгоритмы прямо при общении с клиентом

Александр Миронов, SAS: Индивидуальные предложения не придумать заранее: их формируют алгоритмы прямо при общении с клиентом

Эффективность маркетинговых кампаний может колебаться в широком диапазоне. Многие клиенты воспринимают звонки и сообщения с предложениями услуг как спам. Изменить ситуацию мог бы индивидуальный подход, когда клиенту предлагают именно то, что ему в данный момент необходимо. Как это сделать, в интервью CNews рассказал Александр Миронов, руководитель практики по клиентской аналитике и CRM, SAS Россия и СНГ.

Новости

Когда ИИ наделят машинным воображением

Команда исследователей из Университета Южной Калифорнии (USC) разработала технологию, помогающую искусственному интеллекту представить себе несуществующий объект. Это можно считать аналогом воображения. Новый метод поможет в разработке лекарств и, очевидно, найдет применение в сфере автономных транспортных средств.

02/08

Читать полностью

Компания SAS получила награду в сфере защиты экологии

SAS в очередной раз получила признание за инновации в социальной сфере. В День защиты тропических лесов, компании присуждены премии Fast Company 2021 World Changing Ideas Awards и PRNEWS CSR & Diversity Awards 2021 за вклад в совместный проект с Международным институтом прикладного системного анализа (IIASA) по отслеживанию воздействия человека на тропические леса Амазонии.

28/07

Читать полностью

Чат-боты начинают объединяться в команды и разговаривать между собой

Практически каждая крупная организация уже обзавелась собственным чат-ботом. Он общается с клиентами, выполняет рутинные операции, помогает найти информацию или правильно задать вопрос. Будущее — за сообществами ботов-специалистов, управлять которыми будет мастер-бот. Об этом говорили участники организованной CNews Conferences онлайн-конференции «Чат-боты 2021: на пути к интеллектуальному помощнику».

28/07

Читать полностью
Все новости
Вернуться на главную