Управление данными и тегирование

~ 20 минут
Вы уже изучили подходы к обеспечению безопасности данных в контексте управления данными. Этот урок посвящён частному, но важному процессу тегирования, или разметки, данных.
Тегирование данных помогает организовать их, понять, как с ними работать, и обеспечить их защиту. Тегирование — как наклейки на коробках в большом складе: вы сразу видите, что внутри, кто может это использовать и как с этим обращаться. Без этого сложно эффективно управлять данными, особенно когда их много или они поступают из разных источников.
Вы узнаете, зачем нужен процесс тегирования и как его автоматизировать с помощью платформенных решений. Рассмотрите особенности, преимущества и примеры применения инструментов управления конфиденциальностью, как с их помощью обнаруживают и классифицируют данные, управляют согласиями, оценивают риски и внедряют политики.

Тегирование данных

✏️ Тегирование данных — это способ присваивать метки, или теги, данным, чтобы сделать их более понятными, организованными и удобными в управлении. Оно работает как система маркировки, которая помогает понять, что это за данные, откуда они взялись, как с ними работать и кто может их использовать.
Тегирование обычно используется в рамках более крупных процессов управления данными, которые вы изучили раньше. Оно помогает не только быстро находить информацию, но и классифицировать её, понимать происхождение (Data Lineage), обеспечивать качество и безопасность, автоматизировать задачи (например, контроль доступа или шифрование) и соответствие нормативным требованиям.
Выглядеть тегирование в разных процессах управления данными будет примерно следующим образом:
1. Классификация данных и соответствие нормативным требованиям
Классификация данных сама по себе подразумевает их разделение на категории с помощью тегов. Например, при работе с таблицей в медицинской информационной системе всю информацию можно разметить на категории: конфиденциальные, общедоступные, финансовые, аналитические и так далее.
Полям «Имя», «Адрес», «Диагноз», «Результаты анализов» можно присвоить теги:
  • Имя, Адрес: тег PII (персональная информация).
  • Диагноз: тег PHI (медицинская информация).
  • Результаты анализов: тег Клинические данные.
Такая разметка позволяет строить дальнейшую работу с данными вокруг их категорий: конфиденциальные данные автоматически шифруются, доступ к медицинской информации ограничивается только врачами, а аналитические данные используются в отчётах без риска утечки личной информации. Так соблюдаются нормативные требования и гарантируется защита прав пациентов.
2. Data Lineage (прослеживаемость данных)
Тегирование помогает отслеживать, как медицинские данные перемещаются между системами и изменяются на разных этапах. Представьте, что есть данные о результатах анализов, которые проходят несколько этапов обработки:
  1. Источник данных: raw_lab_results — тег «Сырой источник»;
  2. После верификации: verified_lab_results — тег «Обработанные данные»;
  3. Передача в систему аналитики: lab_analytics — тег «Используется для аналитики».
Если в аналитике найдена ошибка, теги помогут быстро определить, на каком этапе обработки она возникла — были ли исходные данные некорректны или проблема появилась во время трансформации.
  1. Управление доступом
С помощью тегов можно установить, кто имеет право видеть, изменять или передавать данные. Например, тег PII ограничит доступ для большинства сотрудников, данные с пометкой PHI (диагнозы и результаты анализов) послужат основой для аналитических процессов.
Интеграция тегирования и знакомой вам модели RBAC позволяет системе автоматически проверять, соответствует ли роль пользователя уровню доступа, заданному тегами данных. Роли сотрудников — врачей, администраторов, аналитиков — заранее настраиваются так, чтобы каждая из них имела доступ только к определённым категориям данных. Таким образом, врач сможет видеть все данные пациента, администратор — только контактную информацию, а аналитик — обобщённую статистику.
  1. Автоматизация процессов
Тегирование служит триггером для автоматических действий (например, шифрования, архивации, очистки или передачи данных в другую систему).
Теги можно настроить так, что они будут запускать автоматические действия: удалять, архивировать или перемещать данные. Например, сырые данные из таблицы raw_patient_logs с тегом Необработанные данные могут автоматически удаляться через 30 дней. А записи из таблицы old_patient_records, помеченные тегами Архивация и PHI, перемещаются в защищённое хранилище для долгосрочного хранения. Это экономит место, снижает нагрузку на системы и упрощает соблюдение сроков хранения медицинской информации.

Сергей

Как внедрить процессы тегирования чувствительных данных?

Шаги по внедрению и автоматизации процессов тегирования

Когда компания приступает к внедрению тегирования, это обычно оформляется как масштабный проект, включающий несколько этапов. Для этого сначала определяют цели, проводится анализ текущих данных, чтобы выявить ключевые категории (например, персональные, медицинские, финансовые).

1. Идентификация и классификация чувствительных данных

Вы уже разбирали инвентаризацию и классификацию данных, здесь мы лишь перечислим, с помощью каких инструментов можно это реализовать.
Чтобы составить полный перечень источников данных, включая базы данных, файловые системы, облачные хранилища, электронную почту и приложения, можно использовать автоматизированные инструменты обнаружения данных.
  • Решения для предотвращения утечки данных (DLP): такие инструменты, как Symantec DLP или McAfee DLP, которые сканируют данные на наличие заранее определённых шаблонов (например, номеров кредитных карт, SSN).
  • Платформы Data Discovery Platforms: такие инструменты, как BigID или Informatica, которые используют сопоставление шаблонов и машинное обучение для поиска конфиденциальных данных.

2. Тегирование данных на основе классификации

На следующем этапе создаётся политика тегирования, описывающая, какие теги использовать, как их присваивать, кто отвечает за это и как теги влияют на дальнейшие процессы, вроде доступа, хранения и обработки данных.
Для маркировки возможно внедрить инструменты, которые позволяют автоматически помечать данные при их обнаружении или создании.
  • Informatica Data Catalog автоматизирует маркировку на основе правил профилирования и классификации данных.
  • Microsoft Azure Information Protection применяет метки к документам и электронным письмам в Office 365.

3. Реализация контроля доступа на основе тегов

RBAC, ABAC, MAC, и Zero Trust тесно интегрируются с тегированием через связывание тегов с ролями, атрибутами, политиками или контекстными условиями.
  • Keycloak и Azure Active Directory могут использоваться для управления идентификацией и доступом, включая интеграцию с RBAC или ABAC. Если требуется интеграция с тегами данных, нужно подключить дополнительные инструменты или системы, которые связывают IAM с тегированием.
  • Oracle Database Vault и SQL Server Role-Based Security предоставляют возможности управления доступом на уровне базы данных. Они больше ориентированы на RBAC, а для поддержки динамических моделей, таких как ABAC, или работы с тегами данных могут потребоваться дополнительные разработки или настройки.

4. Мониторинг и аудит тегированных данных

Мониторинг тегирования данных требует инструментов, которые помогают отслеживать, как и где применяются теги, а также находить несоответствия.
Например, Collibra Data Intelligence Cloud предоставляет централизованную платформу для автоматического сканирования хранилищ данных, проверки применения тегов и уведомлений, если данные остались без меток. Это упрощает управление большими объёмами данных и обеспечивает соблюдение стандартов компании.
Инструменты вроде BigID и Informatica Axon используют машинное обучение для автоматической классификации и мониторинга тегов. Они могут выявлять персональные или конфиденциальные данные, которые остались без тегов, или находить метки, не соответствующие требованиям. Такие платформы часто поддерживают интеграцию с системами управления доступом, помогая синхронизировать процессы и следить за тем, чтобы теги соответствовали корпоративным политикам.
Об этих и других инструментах поговорим подробнее ниже.

5. Обучение и информированность

Этот шаг нужен, чтобы убедиться, что сотрудники понимают важность маркировки данных и свою роль в защите конфиденциальной информации. Команда может разработать учебные модули, охватывающие стандарты классификации данных, процедуры работы с конфиденциальными данными и юридические и нормативные обязательства.

6. Поддержание и обновление тегов

Наконец, для того, чтобы теги оставались актуальными и поддерживалась целостность хранилищ данных, стоит отдельно выделить процесс управления жизненным циклом данных — обновление тегов при изменении, архивировании или удалении данных. Планируйте регулярные проверки тегов и классификаций данных для обеспечения постоянной точности.
Этот процесс тоже можно автоматизировать с помощью инструментов, которые корректируют теги на основе изменений данных.
Системный подход к внедрению означает, что тегирование интегрируется в повседневные процессы компании. Для этого выбираются инструменты (например, платформы для автоматизации классификации), данные размечаются с использованием технологий машинного обучения или вручную, а также разрабатываются правила, которые связывают теги с управлением доступом, защитой и использованием данных.

Платформы управления данными

Централизованно управлять своими данными на всех этапах их жизненного цикла компаниям помогают платформы управления данными. Это комплексные решения, которые включают в себя инструменты для автоматической классификации, назначения тегов, мониторинга их использования и обеспечения безопасности данных. Такие платформы позволяют не только упорядочить данные, но и интегрировать процессы управления с нормативными требованиями, политиками безопасности и задачами бизнеса. Это особенно важно для крупных организаций, где данные распределены по разным системам и часто обновляются.
Основное преимущество таких платформ — автоматизация. Они берут на себя задачи, которые раньше выполнялись вручную, например, обнаружение новых данных, назначение тегов или контроль за их правильностью. Кроме того, они помогают управлять доступом, отслеживать изменения и поддерживать соответствие нормативным требованиям, таким как GDPR или CCPA. В следующей части мы рассмотрим ключевые платформы управления данными — BigID, OneTrust, DataGrail и Informatica, их возможности и роль в построении эффективной системы управления данными.

BigID — Deep Data Intelligence

BigID автоматически обнаруживает и классифицирует данные из локальных и облачных источников, используя машинное обучение.
Например, платформа может сканировать хранилища данных в AWS или базы SQL и помечать таблицы, содержащие персональную информацию (тег PII), или медицинские данные (тег PHI). Она предупреждает о потенциальных утечках данных, если конфиденциальная информация оказывается в незащищённой среде. Интеграция через API позволяет подключить BigID к Salesforce для автоматической классификации клиентских данных или к Microsoft 365 для маркировки корпоративных файлов.
Платформа удобно визуализирует информацию, предупреждает проблемы с безопасностью и помогает соблюдать законы о защите данных благодаря встроенным нормативным рамкам. Интегрируется через API и включает коннекторы для Salesforce, SAP и Microsoft 365.
Но стоит учесть, что BigID — дорогая платформа, которую сложно внедрить, особенно в большие среды. Она требует много ресурсов и квалифицированного персонала для поддержки.

OneTrust

OneTrust обнаруживает персональные данные и помогает управлять согласиями пользователей. Например, при сборе данных через веб-формы платформа может автоматически назначать теги GDPR для информации, поступающей из ЕС. Она также предоставляет панели для обработки запросов на удаление или изменение данных. Если система интегрирована с CRM, как Salesforce, или маркетинговыми платформами, она может автоматизировать удаление информации из всех связанных систем при поступлении такого запроса.
OneTrust масштабируется под нужды компаний любого размера и позволяет адаптировать рабочие процессы под задачи бизнеса — её тоже можно интегрировать в существующие системы.
Среди минусов — высокая стоимость модулей и сложность настройки, требующая времени и квалифицированного персонала.

DataGrail

DataGrail позволяет отслеживать путь данных в реальном времени. Например, при интеграции с ERP-системой, такой как SAP, платформа обнаруживает персональные данные сотрудников и их перемещение между модулями системы (например, из HR в финансы). Это упрощает обработку запросов, например, на удаление всех данных о конкретном сотруднике. DataGrail интегрируется с популярными системами, такими как HubSpot, Marketo или Google Workspace, и автоматически маркирует персональную информацию для её защиты. Однако для менее распространённых систем может потребоваться пользовательская интеграция.

Informatica

Informatica автоматически обнаруживает и классифицирует данные в крупных хранилищах, таких как Snowflake или Google BigQuery. Она может анализировать таблицы и назначать теги, например, Финансовые данные для столбцов, содержащих транзакции, или Конфиденциально — для персональной информации.
Платформа поддерживает визуализацию потоков данных — вы можете увидеть, как данные переходят из CRM-системы в аналитическую платформу и какие преобразования происходят по пути. Эти данные затем используются для построения автоматических политик управления доступом, например, на основе тегов, таких как PII или Internal Use Only.
Решение предназначено для крупномасштабного развёртывания в сложных ландшафтах данных. Работать можно с данными любого уровня структурированности в разных средах. Интегрируется с другими инструментами.
Очевидно, для всего этого нужны ресурсы — специальная инфраструктура и персонал, а реализация может потребовать серьёзного планирования и специальных знаний.

Collibra — Data Intelligence Platform

Collibra — это платформа для управления данными, которая автоматически обнаруживает, классифицирует и визуализирует данные. Например, подключившись к Snowflake, она определяет таблицы с персональной информацией и присваивает им тег PII, упрощая управление доступом. Её ключевая особенность — мощная функция Data Lineage, которая отслеживает весь путь данных. Например, если данные из ERP-системы SAP проходят через Tableau, Collibra покажет, как они трансформировались, что важно для аудита и соответствия нормативным требованиям, таким как GDPR.
Collibra выделяется своей фокусировкой на управлении метаданными и визуализацией цепочки данных (Data Lineage). Это делает её особенно удобной для крупных организаций с многоэтапными процессами обработки данных.
В отличие от BigID или OneTrust, которые ориентированы на обнаружение и защиту конфиденциальных данных, Collibra акцентирует внимание на создании централизованного хранилища метаданных и их связях. Кроме того, она интегрируется с широким спектром систем (AWS, Google Cloud, Tableau) и автоматически обновляет классификацию данных при изменениях, что выгодно отличает её в сложных IT-инфраструктурах.

Улучшение доступа к данным Hadoop с помощью Apache Atlas

Apache Atlas — это платформа для управления метаданными, которая помогает улучшить доступ к данным в экосистеме Hadoop. Она автоматически обнаруживает данные в хранилищах, таких как HDFS или Hive, и классифицирует их с помощью тегов. Например, данные о транзакциях в Hive можно пометить тегом Финансовые данные, а персональные данные клиентов в HDFS — тегом PII. Это позволяет настроить гибкий и точный контроль доступа на уровне данных. Hadoop в данном случае выступает как основа для хранения и обработки больших данных, а Apache Atlas дополняет его, предоставляя интеллектуальное управление данными, делая их безопасными и структурированными.
В отличие от других платформ, таких как Collibra, Apache Atlas глубже интегрирован в экосистему Hadoop, обеспечивая автоматическое обнаружение, классификацию и визуализацию потоков данных. Например, если данные из HDFS обрабатываются в Apache Spark и записываются в Hive, Atlas покажет весь путь данных, от источника до конечного использования. Это критически важно для соответствия нормативным требованиям, таким как GDPR или CCPA, а также для упрощения управления доступом.
Atlas также позволяет настроить политики доступа, например, предоставляя доступ к данным с тегом PII только для авторизованных пользователей. Благодаря интеграции с Apache Ranger доступ можно динамически контролировать на основе тегов и ролей, что делает Hadoop не только мощным хранилищем, но и безопасной платформой для работы с конфиденциальными данными.

Сергей

Как выбрать подходящую платформу?

Как выбрать платформу

Выбор платформы зависит от размера организации, структуры данных, нормативных требований и задач по обеспечению конфиденциальности. Упростить выбор можно, ориентируясь на пять ключевых факторов.

Организационные цели

Если компания управляет большими объёмами данных и уделяет особое внимание их классификации и анализу, лучше выбирать инструменты с мощными возможностями для обнаружения и обработки данных. Например, BigID и Informatica предлагают автоматическую классификацию, назначение тегов и глубокий анализ данных. Apache Atlas также отлично подходит для таких задач, особенно если данные обрабатываются в экосистеме Hadoop. Он интегрируется с HDFS, Hive и Spark, позволяя отслеживать весь путь данных.
Если компании важнее соответствие нормативным требованиям и управление пользовательскими данными, такие как согласия и предпочтения, лучше использовать OneTrust и DataGrail. Collibra в этом случае станет универсальным решением для компаний, которым требуется централизованное управление метаданными и визуализация их использования по всей организации.

Сложность среды

Компании с разнородной инфраструктурой и множеством хранилищ, включая локальные и облачные, нуждаются в платформах, которые могут работать в сложных условиях. Для таких ландшафтов лучше подходят Informatica и BigID, обеспечивающие интеграцию с различными системами и автоматизацию процессов. Apache Atlas станет идеальным выбором, если организация использует Hadoop, так как он тесно интегрируется с этой экосистемой, включая такие компоненты, как HDFS и Hive.
Для менее сложных сред подойдут OneTrust и DataGrail, которые быстрее настраиваются и легче интегрируются. Collibra отлично подходит для организаций, где требуется управление большими объёмами метаданных, но без жёсткой привязки к одной экосистеме.

Потребности в интеграции

Интеграция с существующими системами играет ключевую роль. BigID предоставляет API и коннекторы для популярных решений, таких как Salesforce и Microsoft 365. DataGrail интегрируется с широким спектром систем, включая CRM и маркетинговые платформы. Apache Atlas глубоко интегрируется с экосистемой Hadoop, что делает его незаменимым в таких случаях. Collibra поддерживает интеграцию с облачными провайдерами (AWS, GCP) и аналитическими платформами (Tableau, Power BI), предоставляя гибкость при разнородной инфраструктуре.

Бюджет

Стоимость лицензий и эксплуатации важна при выборе платформы. DataGrail и OneTrust подходят компаниям с ограниченным бюджетом, так как их внедрение и поддержка менее затратны. Apache Atlas, будучи опенсорсным инструментом, снижает лицензионные затраты, но требует ресурсов и квалифицированного персонала для настройки и обслуживания. BigID, Informatica и Collibra дороже в лицензировании и эксплуатации, но их функциональность окупается для крупных организаций с высокими требованиями к безопасности и управлению данными.

Задание 1

Медиаплатформа переживает период бурного роста. Руководители принимают решения о производстве контента на основе аналитики, которая отражает предпочтения пользователей. Чтобы изучать данные, компания собирает аналитические дашборды.
Бизнес хочет сократить время на создание таких дашбордов. При этом важно, чтобы сохранилась возможность получать данные о предпочтениях пользователей за последний квартал.
Как тегирование может помочь в этом случае?

Задание 2

Какая платформа больше всего подойдёт для описанных задач?
Крупной компании нужно настроить web-hooks для контроля сбора данных пользователей
OneTrust
Планируется миграция инфраструктуры в облако крупной компании. Нужно повысить безопасность данных и использовать современные технологии
BigID
Необходимо обрабатывать данные в хранилище HDFS и классифицировать их с помощью тегов
Apache Atlas
Нужно отслеживать перемещение данных в реальном времени, учёт данных ведётся в SAP
DataGrail
Крупной компании нужно управлять метаданными и визуализировать потоки данных
Collibra
Крупная компания с Legacy-инфраструктурой планирует миграцию на новые сервисы. Но в ближайшие годы нужно обеспечить интеграцию со множеством систем для поддержания их работоспособности
Informatica
Центр управления данными Collibra
Apache Atlas

Итоги

  • Тегирование — процесс в управлении конфиденциальными данными, который помогает классифицировать данные, защищать их и соблюдать нормативные требования. Без чёткой разметки сложно контролировать доступ, автоматизировать управление и обеспечивать безопасность.
  • Процесс тегирования включает несколько этапов. Сначала проводится инвентаризация данных и их классификация, затем данные размечаются с использованием тегов, таких как, например, PII или PHI. Дальше внедряется контроль доступа на основе тегов, мониторинг и аудит их использования. Обучение сотрудников и регулярное обновление тегов необходимы для поддержания точности и актуальности данных.
  • Платформы для управления данными автоматизируют эти задачи. Они позволяют обнаруживать и классифицировать данные, отслеживать их путь, назначать теги и контролировать доступ. Такие инструменты, как Collibra и Apache Atlas, также помогают визуализировать данные и управлять ими в сложных системах.
  • Выбор платформы зависит от задач и структуры компании. BigID и Informatica подходят для крупных компаний с большими объёмами данных и сложной инфраструктурой. Apache Atlas эффективен для организаций, использующих Hadoop. Collibra универсальна и хорошо работает в разнородных системах. DataGrail и OneTrust лучше для небольших компаний, ориентированных на управление согласиями и соответствие нормативным требованиям.