Data Lineage и Data Minimization

~ 30 минут
Компании собирают и обрабатывают огромные объёмы информации, чтобы поддерживать свою деятельность, принимать решения и реализовывать стратегические инициативы. Однако вместе с большими данными приходит большая ответственность. Организовать управление данными грамотно — это задача со звёздочкой. Кроме всего прочего, оно должно быть этичным, безопасным и соответствовать нормативным требованиям.
Две концепции могут помочь вашей компании сориентироваться в этом сложном ландшафте. Это Data Lineage и Data Minimization. Понимая и применяя эти подходы, вы сможете разрабатывать системы, которые не только отвечают потребностям вашей компании, но и поддерживают самые высокие стандарты конфиденциальности и безопасности данных.

Сергей

Что это за концепции?

✏️ Data Lineage, или «линия данных», — это путь перемещения данных от места их происхождения до конечного пункта назначения. Так же называют и сам процесс отслеживания, документирования и визуализации этого пути.
Data Lineage охватывает весь жизненный цикл данных. Благодаря этому компания в любой момент может ответить на вопросы:
  • Откуда взялись данные?
  • Как они были изменены?
  • Кто получил к ним доступ или изменил их?
Все эти аспекты необходимо знать, чтобы поддерживать прозрачность работы с данными, обеспечивать качество данных и соблюдать законы об их защите.
Data Lineage желательно применять вместе с Data Minimization. Это позволит обеспечить ещё более эффективное и безопасное управление данными.
✏️ Data Minimization, или «минимизация данных», — это принцип работы с данными. Он предполагает, что компания собирает, обрабатывает и хранит только те данные, которые абсолютно необходимы для достижения её конкретных целей.
Этот подход позволяет сократить объём личной или конфиденциальной информации, которую хранит компания. Придерживаясь принципа Data Minimization, компании демонстрируют уважение к частной жизни и соблюдают нормативные требования, которые предписывают ограничение сбора данных.
Вместе Data Lineage и Data Minimization образуют надёжную основу для ответственного управления данными: Data Lineage обеспечивает видимость и подотчётность процессов обработки данных, а Data Minimization — снижает вероятность неправомерного использования данных и повышает их безопасность.
Теперь сосредоточимся на Data Lineage. Разберём по порядку, какие именно задачи решает этот паттерн, как он помогает соблюдать нормативные требования и как эффективно его внедрить.

Зачем внедрять Data Lineage

Data Lineage позволяет сделать жизненный цикл данных полностью прозрачным. В итоге компания может проследить весь путь данных — от момента их возникновения через все преобразования, которым они подвергаются, до конечного пункта назначения.
Такая прозрачность позволяет:
  • Повысить качество данных. Отслеживая преобразования данных, компании могут выявлять и устранять ошибки и несоответствия.
  • Повысить операционную эффективность. Понимание путей передачи данных позволяет оптимизировать процессы обработки данных, устранить избыточность и оптимизировать операции.
  • Управлять рисками. Если компания знает, где находятся конфиденциальные данные и как они перемещаются по системам, ей будет намного проще оценить риски и внедрить необходимые меры безопасности.
  • Обеспечить соответствие нормативным требованиям. Подробный анализ потоков данных имеет решающее значение для соблюдения требований по защите данных. Data Lineage помогает продемонстрировать соответствие требованиям, предоставляя доказательства того, как персональные данные обрабатываются и защищаются.
Таким образом, Data Lineage можно считать краеугольным камнем для надёжной системы управления данными.
Рассмотрим более подробно последний пункт. Обсудим, какие требования законодательства помогает выполнять линия данных.

Нормативно-правовая база: GDPR и 152-ФЗ

Остановимся на двух ключевых законах о защите персональных данных — GDPR и 152-ФЗ.Первый действует на территории стран Евросоюза, второй — на территории России.
Мы уже затрагивали эти законы в первом уроке темы. А с 152-ФЗ вы знакомы уже довольно хорошо — мы рассказывали про него в седьмом спринте, когда разбирали аудит безопасности. На практике на организацию могут распространяться требования обоих этих законов. Например, если у крупной компании есть дочерние компании или офисы на территории стран Евросоюза. Поэтому стоит сравнить законы, чтобы выделить особенности каждого из них.

Для Евросоюза — GDPR

Общее положение о защите данных (General Data Protection Regulation, GDPR) было принято Европейским союзом и вступило в силу в 2018 году. Оно направлено на усиление контроля граждан над своими персональными данными. При этом создатели закона также стремились упростить нормативную базу для международного бизнеса.
💡 GDPR распространяется на все организации, обрабатывающие персональные данные физических лиц на территории ЕС, независимо от местонахождения организации.
GDPR определяет:
  • Права физических лиц. GDPR предоставляет физическим лицам несколько прав, в том числе:
    • Право на доступ к своим персональным данным.
    • Право на исправление и забвение («право быть забытым»).
    • Право на переносимость данных. Оно даёт возможность гражданам запросить передачу своих персональных данных другому поставщику услуг.
    • Право на возражение против обработки, особенно в целях профилирования.
  • Обязанности контролёров данных. Организации должны применять соответствующие меры безопасности, вести учёт деятельности по обработке данных и сообщать о нарушениях в течение 72 часов. В определённых обстоятельствах они также обязаны назначить сотрудника по защите данных (DPO).
  • Штрафы за несоблюдение. За нарушения закона организации могут понести серьёзное наказание. Штрафы могут достигать 20 миллионов евро или 4 % от глобального годового оборота — в зависимости от того, какая сумма больше.
  • Трансграничная передача данных. GDPR регулирует передачу персональных данных за пределы ЕС, обеспечивая адекватную защиту в других странах.
Можете изучить полный текст GDPR на официальном сайте Европейского союза.

Для РФ — Федеральный закон № 152-ФЗ «О персональных данных»

Федеральный закон № 152-ФЗ можно назвать российским аналогом GDPR. Это основной документ, который регулирует обработку персональных данных на территории РФ. Закон был принят в 2006 году.
💡 152-ФЗ распространяется на все организации, которые обрабатывают персональные данные физических лиц, находящихся на территории России, независимо от места нахождения организации.
152-ФЗ определяет:
  • Права субъектов данных. Как и в GDPR, физические лица имеют права в отношении своих персональных данных, включая право на доступ к своей информации и её исправление. Однако механизмы реализации и конкретные права могут отличаться от тех, что предусмотрены GDPR.
  • Требование локализации данных. Одним из отличительных аспектов 152-ФЗ является требование к организациям хранить персональные данные российских граждан на серверах, которые расположены на территории России. Это условие направлено на усиление контроля над персональными данными и обеспечение соответствия местному законодательству.
  • Штрафы за нарушения. Несоблюдение 152-ФЗ может привести к административным штрафам и другим наказаниям. Хотя они, как правило, менее суровы, чем наказания за несоблюдение GDPR.
Полный текст Федерального закона № 152-ФЗ «О персональных данных» можно найти на сайте администрации президента РФ.
Итак, вот ключевые отличия законов:
Data Lineage упростит для компании выполнение требований GDPR и 152-ФЗ. Теперь разберём, как внедрить этот подход.

Как внедрить Data Lineage

Внедрение Data Lineage — это многогранный процесс, который включает в себя как технические, так и организационные аспекты. Он требует систематического подхода. Это значит, что алгоритм внедрения состоит из трёх стандартных блоков — планирования, реализации и постоянного совершенствования. В общем всего девять шагов. Каждый шаг опирается на предыдущий.
Изучите схему, а затем рассмотрим все шаги по порядку.
Чтобы процесс не выглядел абстрактно, заземлим его — пройдём каждый шаг на примере компании HealthConnect.
Пример HealthConnect. Платформа здравоохранения HealthConnect осуществляет деятельность в нескольких юрисдикциях. В 2018 году вступило в силу Общее положение о защите данных — GDPR. Компания осознала, что на этом этапе у неё нет чёткого понимания, как данные пациентов проходят через внутренние системы. Из-за этого компания сталкивается со значительными рисками — она не может гарантировать, что соблюдает нормативные требования в полной мере. Также специалисты HealthConnect замечают проблемы с качеством данных.

Шаг 1. Определение масштаба и планирование

Первым делом нужно определить масштаб инициативы Data Lineage. Для этого необходимо решить, какие домены данных, системы или процессы вы включите в инициативу. Обычно лучше начать с конкретной области, которая критически важна для бизнеса или представляет значительный риск с точки зрения законодательства. Затем эту область можно расширять.
Важно, чтобы планирование не было замкнутым: привлекайте заинтересованные стороны из разных отделов. В том числе — IT-отдел, отдел управления данными, отдел соблюдения нормативных требований и бизнес-подразделения. Их вклад важен для понимания ландшафта данных. Так вам будет проще гарантировать, что итоговый результат отвечает потребностям разных подразделений компании.
Пример HealthConnect. На этом этапе компания решила сосредоточиться на медицинских картах пациентов и включить их в систему Data Lineage. Они содержат конфиденциальные персональные данные, к которым предъявляют строгие нормативные требования.

Шаг 2. Выявление и инвентаризация данных

Когда область для внедрения Data Lineage определена, нужно провести подробный процесс обнаружения данных. Для этого составляют каталог всех активов данных. В него входят:
  • базы данных,
  • хранилища данных,
  • сторонние источники данных,
  • любые другие системы, в которых возникают или хранятся данные (S3 хранилища, Google Docs, MS SharePoint).
Инвентаризация должна быть детальной. Кроме источников данных, нужно также отразить типы данных, их форматы и взаимосвязи между наборами данных.
Нужно учитывать, что на этом этапе вы можете обнаружить источники данных, которые ранее не документировались, или скрытые IT-системы. Их тоже необходимо зафиксировать и включить в карты потоков данных.
💡 «Слепые зоны» могут подорвать эффективность Data Lineage. Поэтому очень важно, чтобы анализ был всесторонним.
Пример HealthConnect. Команда провела всестороннюю инвентаризацию источников данных, которые относятся к записям пациентов. В том числе инвентаризация затронула базы данных, приложения и внешние источники данных, которые поступают от медицинских устройств.

Шаг 3. Составление карты потоков данных

Когда полный перечень информационных ресурсов составлен, нужно разработать схему движения данных в компании. Её также называют «картой потоков данных». Для этого необходимо задокументировать потоки данных между системами, приложениями и процессами.
Документация должна исчерпывающе отвечать на пять ключевых вопросов:
  • Как данные попадают в систему?
  • Каким преобразованиям или обработке они подвергаются?
  • Какие системы или приложения получают доступ к данным или изменяют их?
  • Где хранятся данные на каждом этапе?
  • Как данные выходят из системы или достигают конечного состояния?
Обычно в ходе составления документации активно используют инструменты визуализации. Блок-схемы и диаграммы помогают наглядно отобразить потоки данных. Так с ними намного проще работать.
💡 Обратите внимание: визуальные артефакты должны отражать как автоматизированные перемещения данных, так и ручные процессы. Это важно, потому что при ручной обработке данных выше риск ошибок.
Пример HealthConnect. С помощью инструментов визуального картирования команда задокументировала потоки данных от точек ввода данных пациента до систем хранения, обработки и отчётности.

Шаг 4. Документирование преобразований данных

Линия данных должна показывать, как данные изменяются с течением времени. Для этого необходимо задокументировать все преобразования данных. Учитывайте все операции, которые изменяют данные. В том числе — операции по очистке, агрегации, обогащению данных и созданию новых элементов данных.
Преобразование данных тоже нужно зафиксировать максимально подробной. Включайте в документацию:
  • логику или алгоритмы, которые применяются в ходе преобразований;
  • последовательность преобразований;
  • обоснование каждого преобразования;
  • персонал или системы, которые отвечают за преобразования.
Все эти детали нужны не для «галочки». Подробные записи о преобразованиях данных помогают проводить аудит и устранять проблемы с качеством данных.
Пример HealthConnect. Команда описала все преобразования данных, включая процессы анонимизации. Анонимизацию компания применяет к данным, которые использует в исследовательских целях.

Шаг 5. Управление метаданными

Метаданные тоже играют важную роль в Data Lineage. Эффективное управление метаданными подразумевает сбор, хранение и поддержание информации об активах данных и их атрибутах.
Для управление метаданными необходимо зафиксировать:
  • определения и схемы данных;
  • происхождение данных и их историю;
  • политики использования данных и права доступа;
  • метрики качества и правила проверки.
Управлять метаданными будет проще, если компания внедрит централизованный репозиторий метаданных или каталог данных. Не забудьте, что репозиторий должен быть доступен соответствующим заинтересованным сторонам. Также его следует интегрировать с инструментами Data Lineage. Это позволит обеспечить согласованность и точность информации.
Это последний шаг, который связан с «расследованием» вокруг данных. На этом этапе у компании должно быть достаточно информации, чтобы перейти на следующий уровень внедрения. Дальше нужно выбрать инструменты для выстраивания процесса Data Lineage, провести необходимые проверки и создать систему управления данными.

Шаг 6. Выбор и применение инструментов

Есть специализированные инструменты и технологии, которые позволяют улучшить реализацию Data Lineage. Они автоматизируют сбор информации о линии данных, предоставляют возможности визуализации и интегрируются с существующими системами.
Вот несколько примеров таких инструментов:
  • Решения с открытым исходным кодом. Здесь выделяется Apache Atlas, который разработали для экосистем Hadoop. Он предоставляет возможности управления данными и метаданными.
  • Коммерческие продукты. К ним относятся Collibra, Informatica Metadata Manager и IBM InfoSphere Information Governance Catalog. Они предлагают комплексные функции управления данными, включая Data Lineage.
Подробнее об этих инструментах мы будем говорить дальше в теме.
Чтобы внедрить инструмент, нужно подключить коннекторы к источникам данных, установить процессы ввода метаданных и настроить инструменты в соответствии с требованиями организации.
При выборе инструмента учитывайте шесть факторов:
  • Совместимость. Инструмент должен поддерживать технологии и платформы, которые использует компания. В том числе — базы данных, хранилища данных, процессы ETL и среды больших данных.
  • Масштабируемость. Инструмент должен справляться с объёмом и сложностью данных компании. Нужно обеспечить возможность масштабирования по мере роста данных.
  • Простота использования. Удобные интерфейсы и функции визуализации облегчают взаимодействие пользователей с информацией о линии данных.
  • Автоматизация. Желательно автоматизировать сбор метаданных и отслеживание происхождения данных. Сокращение ручных операций позволяет повысить точность.
  • Интеграция. Инструмент должен легко интегрироваться с системами управления данными, качества данных и соответствия нормативным требованиям.
  • Безопасность. Инструмент должен поддерживать настройку прав доступа и управление безопасностью данных. Иначе он только создаст дополнительные риски.
Пример HealthConnect. Компания решила сочетать разные инструменты. Для управления метаданными она использует инструмент с открытым исходным кодом — Apache Atlas. Для остального выбрали коммерческую платформу управления данными, чтобы расширить возможности.

Шаг 7. Обеспечение соответствия нормативным требованиям

На этом шаге необходимо принять все необходимые меры для того, чтобы система управления данными отвечала нормативным требованиям по защите данных.
Напомним, что сюда входят:
  • Права субъектов данных. Система Data Lineage должна позволять компании отвечать на запросы субъектов данных. Нужно убедиться, что вы можете предоставить пользователю доступ к его персональным данным, исправить их или удалить.
  • Управление согласием. Важно отслеживать случаи, когда для работы с данными пользователя требуется его согласие. Не менее важно гарантировать, что обработка данных будет соответствовать полученному согласию.
  • Локализация данных. Как вы уже знаете, 152-ФЗ требует, чтобы данные российских граждан хранились на серверах, которые расположены на территории России. Data Lineage поможет обеспечить хранение и обработку персональных данных граждан в требуемых географических границах. Готовая карта данных демонстрирует, где компания хранит данные сейчас. Так проще контролировать их местонахождение.
  • Аудиторский журнал. Чтобы при проведении аудита продемонстрировать соответствие требованиям, нужно вести подробные записи о действиях по доступу к данным и их обработке.
Обратите внимание: чтобы на этом этапе учесть все требования, необходимо сотрудничать с юридическим отделом и отделом по соблюдению нормативных требований. Так вы будете лучше понимать нормативные требования и то, как их можно учесть при внедрении системы Data Lineage.
Пример HealthConnect. Команда по соблюдению нормативных требований включалась в работу по внедрению системы, чтобы убедиться, что карты Data Lineage учитывают все нормативные требования. В том числе — требование к локализации данных, прописанное в 152-ФЗ.

Шаг 8. Создание системы управления и политики

Чтобы внедрение Data Lineage точно прошло успешно, в компании должны быть надёжная система управления данными и надёжные политики.
Сюда входят:
  • Роли и обязанности. Назначьте тех, кто будет отвечать за поддержание информации о линии данных, обновление метаданных и обеспечение качества данных.
  • Стандарты и руководства. Установите стандарты для документации данных, соглашений об именовании и процедур обработки данных.
  • Управление изменениями. Внедрите процессы, которые позволят поддерживать актуальность Data Lineage по мере развития систем и процессов.
  • Обучение и повышение осведомлённости. Объясните сотрудникам, зачем вы используете Data Lineage и почему это важно. Расскажите им, как они могут помочь поддерживать точность записей.
Как только вы включите Data Lineage в практику управления данными в компании, она станет неотъемлемой частью ежедневных операций, а не разовым проектом.
Пример HealthConnect. Внутри компании создали комитет по управлению данными. Он контролирует работу по Data Lineage и обеспечивает постоянное соответствие требованиям.
Это последний шаг, который связан с реализацией линии данных. Остался только завершающий этап — мониторинг.

Шаг 9. Постоянное улучшение и мониторинг

Data Lineage — это процесс, поэтому его необходимо постоянно контролировать и улучшать. Подход «поставил и забыл» тут не сработает. Чтобы система отслеживания оставалась эффективной, нужно проводить мониторинг и на его основе дорабатывать Data Lineage.
Проводите регулярные проверки. В ходе них:
  • Оценивайте качество данных. Выявляйте и устраняйте проблемы с качеством данных, которые могут повлиять на точность информации о линии.
  • Обновляйте карты родословной. Отражайте изменения в потоках данных, системах или бизнес-процессах.
  • Оценивайте эффективность инструментов. Только так можно обеспечить соответствие инструментов Data Lineage потребностям компании и адаптироваться к технологическому прогрессу.
  • Измеряйте пользу. Отслеживайте ключевые показатели эффективности (KPI), чтобы оценить, насколько успешно Data Lineage помогает вам достигать целей — обеспечивать соответствие нормативным требованиям и управлять рисками.
Собирайте обратную связь. Отзывы пользователей и заинтересованных сторон полезны. Зачастую они помогают выявить области, которые требуют улучшения, и усовершенствовать процессы.
Итак, мы прошлись по всем шагам алгоритма, а компания HealthConnect внедрила Data Lineage. Самое время задуматься, а какие инсайты добавил её пример к инструкциям.
💡 Можно выделить, что для внедрения Data Lineage важны:
  • Кросс-функциональное сотрудничество. Привлечение заинтересованных сторон позволит вам учесть все точки зрения.
  • Гибкость. Адаптивность в выборе инструментов и процессов позволяет решать проблемы по мере их возникновения.
  • Непрерывное взаимодействие. Постоянный мониторинг и обновления обеспечивают точность и актуальность Data Lineage.

Какие проблемы могут возникнуть при внедрении Data Lineage

Есть несколько факторов, которые могут усложнить внедрение Data Lineage. Вот основные:
  • У компании сложные информационные системы. Компании часто имеют сложную систему данных с унаследованными решениями, множеством источников данных и разрозненными хранилищами данных. Интеграция этих разрозненных систем в целостную структуру Data Lineage требует тщательного планирования. Может потребоваться модернизация некоторых систем или разработка пользовательских интеграций.
  • Вы работаете с большими данными. Огромный объём и скорость генерирования данных могут сделать отслеживание Data Lineage сложной задачей. Чтобы справиться с этой проблемой, рекомендуем использовать масштабируемые инструменты, которые поддерживают обработку данных в режиме реального времени. Также могут помочь такие стратегии, как выборка или фокусировка на критически важных элементах данных.
  • Сотрудники сопротивляются изменениям. Чтобы внедрить систему Data Lineage, иногда нужно поменять то, как сотрудники работают с данными и документируют процессы. Это довольно крупные изменения, поэтому логично, что они могут вызвать отторжение. Чтобы смягчить сопротивление, чётко объясните преимущества системы, проведите обучение и привлекайте пользователей к разработке процессов и инструментов.
  • Ресурсы ограничены. Инициативы по созданию системы Data Lineage требуют инвестиций в инструменты, персонал и время. Чтобы заручиться поддержкой руководства, продемонстрируйте преимущества, которые получит компания. Снижение риска несоблюдения нормативных требований и повышение операционной эффективности — это серьёзные аргументы, которые помогут вам обосновать выделение ресурсов.
Теперь вы знаете, какие препятствия могут возникнуть на пути. Понимание возможных проблем — это залог успеха!
В контексте Data Lineage осталось осветить ещё один аспект. Мы подробно обсудили этот подход, а вот принцип Data Minimization оставался до этого момента в тени. Сейчас поясним, почему в процессы Data Lineage необходимо встраивать Data Minimization.
Обычно внедрение Data Lineage обеспечивает полную карту потоков и преобразований данных в компании. Но чтобы сделать управление данными максимально эффективным, стоит дополнительно использовать стратегию Data Minimization.
Напомним: Data Minimization подразумевает, что нужно собирать, обрабатывать и хранить только те данные, которые вам абсолютно необходимы. Интегрируя принципы Data Minimization в свои усилия по выстраиванию линии данных, вы не только отслеживаете перемещение данных, но и критически оцениваете, насколько важен каждый фрагмент данных.
Такой подход позволяет:
  • Сократить объём обрабатываемых данных и снизить затраты на их хранение.
  • Снизить риск утечки информации.
  • Упростить для компании соблюдение нормативных актов, в частности — GDPR и 152-ФЗ.
Чтобы вы могли глубже погрузиться в тему, мы подготовили список дополнительной литературы.

Что почитать про Data Lineage и Data Minimization?

Обзорная статья о Data Minization в блоге Piiano
Параграф о Data Lineage в документации Data Catalog от Google Cloud
Гайд по Data Lineage на примерах решения Monte Carlo
Лаконичный пост о том, как соотносятся Data Lineage, Data Provenance и Data Management
Статья об опыте внедрения Data Lineage в Dailymotion

Задание 1

Выберите основную цель Data Lineage.

Задание 2

Какие критерии нужно учесть при выборе инструмента для реализации Data Lineage в масштабируемых организациях?

Итоги

  • Data Lineage, или «линия данных», — это путь перемещения данных от места их происхождения до конечного пункта назначения. Так же называют и сам процесс отслеживания, документирования и визуализации перемещения и трансформации данных.
  • С помощью Data Lineage компании могут сделать процессы работы с данными более прозрачными, повысить качество данных и обеспечить соответствие нормам защиты данных. Ещё линия данных позволяет повысить операционную эффективность.
  • Внедрение Data Lineage — это стратегическая задача, которая требует тщательного планирования, сотрудничества между специалистами и командами, а также постоянного мониторинга и улучшения. Алгоритм внедрения состоит из девяти шагов.
  • В ходе внедрения могут возникнуть сложности, если в компании сложные информационные системы, слишком большие объёмы данных или мало ресурсов на инициативы. Ещё нужно учитывать, что сотрудники могут сопротивляться изменениям. Не стоит воспринимать эти факторы как критические препятствия. Для каждого из них можно найти решения.
  • Data Lineage желательно применять вместе с Data Minimization. Это принцип работы с данными, который предполагает, что компания собирает, обрабатывает и хранит только те данные, которые абсолютно необходимы для достижения её конкретных целей. Data Minimization позволит вам обеспечить ещё более эффективное и безопасное управление данными.