ModelOps

Мы подходим к финишной прямой нашего облачного и AI-спринта! В предыдущих уроках мы разобрали модели машинного обучения, их структуры, особенности аппаратного обеспечения ML-решений, затронули тему жизненного цикла моделей машинного обучения, их создания и внедрения в продакшн. Но как можно более эффективно управлять жизненным циклом моделей машинного обучения на всех его этапах? Как сделать так, чтобы модели оставались актуальными, не теряли своей точности и вовремя обновлялись?

В современных проектах искусственного интеллекта и машинного обучения нужно постоянно мониторить, поддерживать модели и управлять ими. Без этого они могут терять актуальность, деградировать по качеству и не соответствовать текущим данным. Например, модель, обученная на данных прошлого года, может уже не работать корректно на данных сегодняшнего дня.

Со временем модели начинают выдавать менее точные прогнозы из-за изменения данных — это называется деградацией моделей. В качестве решения появилась новая практика — ModelOps. Она фокусируется на управлении жизненным циклом моделей в продакшн-среде, обеспечении их правильной работы, мониторинге, обновлении и дообучении.

В этом уроке мы разберём основные аспекты ModelOps, как она связана с другими дисциплинами вроде DevOps и как помогает решать проблему деградации моделей. Мы также рассмотрим инструменты, подходы и примеры использования ModelOps в реальных проектах.

ModelOps или MLOps

Для начала разберём определения.

✏️ MLOps (Machine Learning Operations) — это набор практик, который объединяет разработку моделей машинного обучения (ML) и DevOps-процессы.

Основная цель MLOps — автоматизация и управление всем жизненным циклом моделей машинного обучения, от их разработки и обучения до развёртывания и эксплуатации в продакшн-среде.

✏️ ModelOps (Model Operations) — это практика, направленная на эксплуатацию моделей машинного обучения и других статистических моделей в продакшн-среде.

В отличие от MLOps, который охватывает все этапы работы с данными и моделями, включая разработку, тренировку и развёртывание, ModelOps фокусируется на операционной поддержке моделей, их мониторинге и оптимизации после развёртывания.

В работе с архитектурой важно понимать процесс управления уже разработанной моделью, поэтому расскажем про ModelOps подробнее.

Где начинается ModelOps

ModelOps начинается после развёртывания модели в продакшн-среде, где она будет взаимодействовать с реальными данными.

Если на этапе MLOps акцент делается на разработку, тестирование и внедрение моделей в инфраструктуру, то на этапе ModelOps основное внимание уделяется дальнейшему управлению и поддержке модели.

ModelOps обеспечивает непрерывное отслеживание производительности модели, её адаптацию к новым данным и своевременное обновление.

Жизненный цикл моделей машинного обучения

Мониторинг производительности модели
ModelOps начинается, когда модель становится доступной для конечного потребителя или решения. Основная задача на этом этапе — мониторинг её производительности. Инженеры (как ML-инженеры, так и DevOps) настраивают системы мониторинга (например, Prometheus или Grafana) для отслеживания метрик модели: точности предсказаний, задержки и частоты ошибок. Мониторинг помогает оперативно обнаружить изменения в данных, которые могут привести к деградации модели.
Управление изменениями и версионирование
Важная часть ModelOps — это управление и контроль версий моделей. Если модель требует обновления или переобучения, инженеры следят за тем, чтобы каждая версия модели была зафиксирована и документирована. Это позволяет легко вернуться к предыдущей версии, если новая окажется неэффективной.
Переобучение модели
Когда модель начинает терять свою точность из-за изменения данных или других факторов, она может быть автоматически или вручную перетренирована. На этом этапе исследователи и ML-инженеры собирают новые данные, обновляют модель и тестируют её, прежде чем снова развернуть в продакшн-среде.
Автоматическое обновление и масштабирование
Благодаря интеграции с CI/CD-пайплайнами, ModelOps обеспечивает автоматическое обновление модели при изменениях данных или параметров. Кроме того, ModelOps включает автоматизацию процессов масштабирования модели в зависимости от нагрузки на систему.

Пример

Представим, что команда работает над рекомендациями для крупного интернет-магазина в облаке. Для успешного развёртывания и поддержки моделей в продакшн-среде в облаке задействованы многие участники команды. На этом примере мы рассмотрим этапы ModelOps и задачи, которые выполняют ключевые сотрудники процесса.

В нашем примере будем использовать сервисы Yandex Cloud. В других облачных платформах есть аналогичные решения.

Мониторинг производительности модели
После того как модель развёрнута с помощью, например, Yandex Managed Service for Kubernetes, начинается её мониторинг. На этом этапе основную роль играют ML-инженеры и DevOps-инженеры.
ML-инженеры настраивают метрики и следят за тем, как модель адаптируется к новым данным. Это позволяет отслеживать метрики точности предсказаний, задержки в обработке запросов и частоту ошибок модели.
DevOps-инженеры настраивают мониторинг инфраструктуры, включая загрузку серверов и использование ресурсов.
Пример Система начинает генерировать рекомендации товаров, но с течением времени точность снижается. Yandex Monitoring отправляет оповещения команде, что модель требует обновления из-за деградации производительности.
Управление версиями моделей
ML-инженеры отвечают за управление версиями модели с использованием Yandex DataSphere. Важно фиксировать каждую версию модели и отслеживать её изменения, чтобы в случае ошибки откатиться на предыдущую версию.
ML-инженеры контролируют весь процесс версионирования и развёртывания новой модели.
Исследователи/разработчики (Data Scientists) предоставляют обновлённые данные и алгоритмы для новых версий модели, которые затем интегрируются в пайплайн.
Пример Обновлённая версия модели оказывается менее точной. ML-инженеры откатываются на предыдущую версию модели, используя данные из Yandex DataSphere, что быстро решает проблему и восстанавливает производительность модели.
Переобучение модели
Когда модель теряет точность из-за устаревших данных, исследователи/разработчики и ML-инженеры совместно её переобучают. На этом этапе собирают новые данные из облачного хранилища Yandex Object Storage и готовят их для обучения.
ML-инженеры автоматизируют процесс перетренировки с помощью Yandex DataSphere и затем тестируют обновлённую модель на новых данных.
Пример Покупательские предпочтения изменились, и рекомендации стали менее релевантными. Исследователи/разработчики или инженеры собирают свежие данные, которые автоматически интегрируются в процесс переобучения с помощью Yandex DataSphere, а затем обновлённая модель развёртывается в продакшне.
Автоматическое обновление и масштабирование
DevOps-инженеры настраивают автоматическое масштабирование с использованием Yandex Managed Service for Kubernetes. Благодаря интеграции с CI/CD-пайплайнами, модель автоматически обновляется, когда появляются новые данные или параметры.
Пример Во время сезона распродаж нагрузка на систему возрастает. Yandex Managed Service for Kubernetes автоматически добавляет дополнительные ресурсы для обработки запросов, поддерживая стабильную работу системы.

Участники команды вносят свой вклад на каждом этапе ModelOps. Исследователи или инженеры данных обеспечивают актуальность данных для моделей, ML-инженеры управляют процессом обновления, версионирования и тестирования моделей, DevOps-инженеры обеспечивают надёжное и масштабируемое развёртывание и управление инфраструктурой, а облачные инженеры поддерживают оптимальное использование облачных ресурсов для вычислений.

Проектирование архитектуры решения

В процессе ModelOps важным является проектирование архитектуры решения, которое должно быть адаптивным, масштабируемым и способным поддерживать постоянное обновление моделей и мониторинг их работы в продакшне. Ключевая задача — организация всех этапов процесса и их интеграция в рамках общей архитектуры решения.

Процесс начинается с анализа требований и определения основных компонентов облачной инфраструктуры. Одним из важных аспектов является разработка схемы взаимодействия между компонентами решения. Архитектура проектируется с учётом существующего CI/CD-процесса для автоматизации обновления моделей. Интеграция с ML-платформой, такой как Yandex DataSphere, используется для управления версиями моделей, а платформа контейнеризации и развёртывания, например Managed Service for Kubernetes, автоматизирует циклы обновления и переобучения. Это особенно важно для систем с высоким трафиком и изменяющимися данными, где отклонения в производительности моделей должны оперативно отслеживаться и устраняться.

📌 Нужно учитывать и прогнозировать рост аппаратной нагрузки таких решений при динамическом масштабировании.

Когда модель начинает терять точность из-за изменений в данных, архитектор участвует в проектировании и определении механизма автоматического сбора новых данных, хранения в Yandex Object Storage и запуска процессов перетренировки. Важной частью этого процесса является обеспечение того, что новая версия модели сможет беспроблемно интегрироваться в продакшн. Архитектор обеспечивает поддержку и интеграцию CI/CD-пайплайнов для автоматизации этого процесса.

Таким образом, архитектор в контексте ModelOps в Yandex Cloud выполняет роль стратега и организатора. Он отвечает за выбор технологий, проектирование архитектуры, интеграцию всех компонентов, обеспечение масштабируемости и безопасности, а также за автоматизацию жизненного цикла моделей.

Появление ModelOps-практики и её предпосылки

Ранние этапы — DevOps Первоначально, с появлением DevOps, основной фокус был направлен на интеграцию разработки и эксплуатации программного обеспечения. DevOps помогал автоматизировать процессы сборки, тестирования и развёртывания приложений. Этот подход обеспечивал более быстрые циклы разработки и повышения качества ПО за счёт тесного взаимодействия команд разработки и операций.

MLOps — внедрение моделей в продакшн По мере роста популярности машинного обучения, DevOps эволюционировал в MLOps — набор практик, направленных на интеграцию работы команд, занимающихся разработкой моделей (Data Scientists), и команд, которые занимаются операционной поддержкой (DevOps). MLOps помогал решать задачи автоматизации обучения и развёртывания моделей, но сосредотачивался в основном на начале жизненного цикла моделей, до их развёртывания в продакшн.

Появление ModelOps Когда модели стали активно использоваться в IT-продуктах, возникла новая проблема: после внедрения моделей в продакшн они начинали терять точность из-за изменений в данных или рыночных условиях. Это привело к появлению ModelOps — узконаправленной практики, дополнившей MLOps и DevOps. ModelOps фокусируется на управлении моделью на всём её жизненном цикле, начиная с момента развёртывания и включая мониторинг, перетренировку, управление версиями и автоматическое обновление.

Задание 1

Какие задачи решает использование ModelOps в компании?

Поддержание точности моделей

За счёт обеспечения постоянного мониторинга модели ModelOps позволяет своевременно выявлять, когда требуется обновление или перетренировка.

Уменьшение времени на обновление моделей и перетренировку

ModelOps автоматизирует обновление моделей и их перетренировку на новых данных. Это снижает затраты времени и ресурсов на ручное вмешательство.

Обеспечение высокой работоспособности и доступности данных

ModelOps позволяет настраивать автоматическое масштабирование моделей, что особенно важно в продакшн-средах с высокой нагрузкой.

Ускорение обучения моделей

ModelOps-практики работают в моделях, которые уже находятся в продакшн-среде. Обучение же моделей происходит ранее и связано с MLOps-процессами.

Повышение точности разрабатываемых моделей

Этого позволяют достичь практики MLOps. ModelOps же работает с моделями, которые уже находятся в продакшн-среде.

Задание 2

Ваша модель, развёрнутая в продакшн-среде, начала деградировать и выдавать менее точные прогнозы. Что сделать для восстановления её производительности?

Обновить программное обеспечение

Обновление программного обеспечения может улучшить общую производительность системы или инфраструктуры, но оно не решит проблему точности модели. Деградация точности, как правило, связана с изменениями в данных, поэтому более эффективным решением будет переобучение модели на актуальных данных, а не обновление ПО.

Увеличить объём вычислительных мощностей

Увеличить мощность может быть решением, если запросы начинают медленно выполняться. Определить это поможет мониторинг производительности. Но в данном случае проблема не с замедлением запросов, а с их точностью.

Переобучить модель на новых данных

Деградация модели может происходить из-за изменения данных. Для восстановления точности требуется её перетренировка на актуальных данных.

Изменить алгоритм предсказаний вручную

Изменение алгоритма вручную может быть неэффективным и сложным подходом, особенно когда модель уже обучена на определённых данных и использует сложные алгоритмы машинного обучения. Вместо этого лучше перетренировать модель на новых данных, что будет более стабильным и эффективным решением проблемы деградации.

Дополнительные материалы

Отличная статья на кейсе SAS

Полезный вебинар от GlowByte в Яндекс Облаке

Хороший разбор понятий ModelOps на конкретных инструментах

Итоги

В современных проектах искусственного интеллекта и машинного обучения нужно постоянно мониторить, поддерживать модели и управлять ими. Без этого они могут терять свою актуальность, деградировать по качеству и не соответствовать текущим данным.
MLOps — это набор практик, который объединяет разработку моделей машинного обучения (ML) и DevOps-процессы. Основная цель MLOps — автоматизация и управление всем жизненным циклом моделей машинного обучения, от их разработки и обучения до развёртывания и эксплуатации в продакшн-среде.
ModelOps — это практика, направленная на эксплуатацию моделей машинного обучения и других статистических моделей в продакшн-среде. В отличие от MLOps, который охватывает все этапы работы с данными и моделями, включая разработку, тренировку и развёртывание, ModelOps фокусируется на операционной поддержке моделей, их мониторинге и оптимизации после развёртывания.