Как управлять потоками данных

~ 15 минут

Чтобы обеспечить конфиденциальность данных и выполнение нормативных требований, необходимо эффективно управлять потоками данных. Это значит, что вы должны понимать, как данные перемещаются по организации. Так вы сможете выявлять потенциальные риски и эффективно внедрять средства контроля для защиты конфиденциальной информации.

Управление потоками данных ещё называют Data Flow Management, сокращённо — DFM. В этом уроке мы расскажем, зачем нужен этот подход и какие инструменты он предлагает.

Что такое Data Flow Management

✏️ Data Flow Management, DFM — это процесс управления потоками данных. Он включает в себя процессы и технологии для сбора, обработки, хранения и передачи данных.

DFM обеспечивает эффективное использование данных, их безопасность и доступность, а ещё позволяет оптимизировать работу с данными в организации.

Зачем использовать Data Flow Management

Эффективное управление потоками данных решает ряд задач:

Обеспечивает конфиденциальность и безопасность данных. DFM помогает защищать конфиденциальные данные и выполнять требования законодательства. Ещё это снижает риск несанкционированного доступа и утечек.
Оптимизирует процессы обработки данных. Упорядочение потоков данных повышает производительность системы и сокращает избыточность. Это обеспечивает точность и согласованность данных в разных системах. И не стоит забывать о финансовых преимуществах: эффективные потоки данных позволяют снизить операционные расходы, поскольку компания исключает ненужные этапы обработки данных.
Повысить прозрачность и подотчётность. DFM обеспечивает прозрачный журнал аудита движения данных, что способствует подотчётности. Ещё прозрачные потоки данных облегчают коммуникацию в команде. Чем проще и логичнее всё устроено, тем легче вам донести информацию о процессах до заинтересованных сторон — руководителей, клиентов, сотрудников и регулирующих органов. Также это упрощает принятие решений: когда вы понимаете, как данные организованы в системе, у вас больше оснований для принятия решений о совершенствовании системы и внедрении политик.

Основной инструмент Data Flow Management — это диаграммы потоков данных (Data Flow Diagram, DFD). Сейчас расскажем о них подробнее.

Что такое Data Flow Diagram

Диаграммы потоков данных представляют данные в виде графической схемы и наглядно показывают, как они перемещаются внутри систем и между ними.

В таком виде процессы работы с данными проще воспринимать и анализировать. Диаграммы помогают выявить потенциальные уязвимости системы и наладить коммуникацию в команде. Всё это — благодаря своей наглядности.

Диаграммы потоков данных включают пять компонентов:

Источники данных. Это исходные точки, в которых собираются данные. Например, формы ввода данных пользователем, датчики. Их представляют в виде начальных узлов на диаграмме.
Процессы. Это действия, которые выполняют с данными. Например, хранение, преобразование, анализ. Процессы изображают в виде узлов или блоков обработки.
Хранилища данных. Это места, где хранятся данные. Например, базы данных или облачные хранилища. Изображаются в виде символов хранилищ (например, цилиндров или репозиториев).
Потоки данных. Это движение данных между источниками, процессами и хранилищами. Потоки данных изображают в виде стрелок, которые указывают направления движения данных.
Внешние субъекты. Это системы или организации за пределами основной системы, которые взаимодействуют с данными. Например, к ним относятся сторонние службы и регулирующие органы. Внешние субъекты представляют в виде отдельных узлов, которые соединяются потоками данных.

Как построить Data Flow Diagram

Определите элементы данных. Перечислите все типы данных. Особое внимание уделите личной и конфиденциальной информации.
Составьте карту источников и получателей данных. Определите, откуда поступают данные и куда они попадают.
Опишите процессы. Задокументируйте, как данные обрабатываются, изменяются и преобразуются на каждом этапе.
Свяжите потоки данных. Добавьте на схему стрелки, чтобы показать потоки данных между компонентами.
Проверьте и провалидируйте диаграмму. Убедитесь, что диаграмма точно отражает реальные потоки данных. Проверьте полноту диаграммы — обсудите результат со всеми заинтересованными сторонами.

Для создания диаграмм тоже есть свои лучшие практики. Они помогают повысить эффективность диаграмм.

Лучшие практики для создания Data Flow Diagram

Начните с простого. Начинайте построение диаграмм с высокоуровневых потоков. Прежде чем погружаться в детальные процессы, нужно разобраться с основами.
Используйте стандартные символы. Так вашим коллегам будет проще понять диаграмму и работать с ней.
Регулярно обновляйте диаграммы. Если у вас происходят изменения в системах или процессах, отражайте их на диаграммах.
Обозначьте конфиденциальные данные. Чётко обозначьте на диаграммах места, где используются личные или конфиденциальные данные.

Диаграммы облегчают работу с потоками данных, но не решают все проблемы. В процессе работы с потоками данных может возникнуть несколько сложностей.

Сергей

Что это за сложности?

Потоки данных слишком сложные. Реализовать сложное движение данных в нескольких системах может быть непросто.
Обеспечение соответствия. Поддерживать потоки данных в соответствии с нормами конфиденциальности тоже непросто. Для этого необходим строгий контроль и документирование.
Мониторинг в режиме реального времени. Организациям необходимы инструменты для мониторинга потоков данных в режиме реального времени. Только так можно оперативно обнаруживать проблемы и реагировать на них.

Для решения этих задач организации используют специализированные инструменты, которые позволяют автоматизировать управление потоками данных. Один из таких инструментов — это Apache NiFi.

Что такое Apache NiFi

✏️ Apache NiFi — это инструмент интеграции данных с открытым исходным кодом. Он позволяет автоматизировать операции обмена данными между разрозненными системами.

Apache NiFi обеспечивает интуитивно понятный дизайн потоков данных с помощью функции drag-and-drop. Она позволяет легко манипулировать потоками данных и компонентами системы: элементы (например, процессоры и соединения) можно легко перетаскивать между различными секциями рабочего пространства NiFi. Это упрощает процесс создания и изменения потоков данных, делая его более наглядным и доступным.

С помощью Apache NiFi можно обеспечить мониторинг и управление потоками данных в реальном времени. Ещё он помогает масштабировать системы, потому что даёт возможность работать как с небольшими, так и с очень большими объёмами данных.

Преимущества Apache NiFi

Автоматизированные потоки данных. Упрощает создание и управление сложными конвейерами данных.
Безопасность. Поддерживает шифрование, контроль доступа и отслеживание происхождения данных.
Расширяемость. Предлагает широкий спектр процессоров для различных источников и форматов данных.

Как строить жизненные циклы потоков данных с помощью Apache NiFi

При работе с Apache NiFi нужно учитывать четыре блока функциональности.

1. Проектирование конвейеров данных

Интерфейс drag-and-drop. Он позволяет создавать потоки данных через подключение процессоров, которые выполняют определённые задачи. Например, ввод данных, преобразование или маршрутизацию.
Разные виды процессоров. Можно использовать встроенные процессоры или разрабатывать собственные, чтобы выполнять специфические операции с данными.

2. Внедрение средств контроля безопасности

Защищённые протоколы. Настройте потоки данных на использование защищённых протоколов для транзита данных. Например, подойдут HTTPS и SSL/TLS.
Управление доступом. Разграничьте роли и разрешения пользователям, чтобы контролировать, кто может просматривать или изменять потоки данных.

3. Мониторинг и управление потоками данных

Мониторинг в реальном времени. Просматривайте скорость потока данных, противодавление и состояние процессора в реальном времени.
Происхождение данных. Можно отслеживать историю данных, чтобы уточнять их происхождение и преобразования.

4. Интеграция с существующими системами

Совместимость. Apache NiFi можно подключить к разным источникам и местам назначения данных, включая базы данных, облачные сервисы и системы обмена сообщениями.
API и расширения. Для интеграции NiFi с другими инструментами и платформами используются API.

Сергей

О чём ещё важно помнить?

Лучшие практики для управления потоками данных

Вот пять рекомендаций, которые помогут вам эффективно управлять потоками данных.

1. Определите приоритеты для потоков чувствительных данных. Сфокусируйтесь на зонах повышенного риска. В первую очередь выявляйте и защищайте потоки данных, которые содержат личную или конфиденциальную информацию.

2. Внедрите строгие средства контроля доступа. Убедитесь, что только уполномоченный персонал может просматривать или изменять потоки данных. Периодически проверяйте журналы доступа и разрешения.

3. Ведите исчерпывающую документацию. Документируйте потоки данных, конфигурации и изменения, чтобы обеспечить подотчётности и соответствие требованиям. Отражайте в документации все изменения и обновления системы.

4. Внедрите и поддерживайте постоянный мониторинг. Настройте уведомления об аномалиях или сбоях в потоках данных. Используйте метрики производительности — отслеживайте производительность потоков данных, чтобы оптимизировать работу системы.

5. Проводите тестирование и проверки. Без тестов невозможно обеспечить правильное и безопасное функционирование потоков данных. Ещё советуем заранее подготовиться к возможным сбоям — разработать стратегии резервного копирования и восстановления.

Кейс HealthConnect

Компания HealthConnect управляет сложными потоками данных, которые включают конфиденциальную информацию о пациентах и циркулируют между микросервисами и внешними партнёрами.

Посмотрите на таблицу. Мы описали в формате чек-листа, как HealthConnect может реализовать рекомендации и лучшие практики по управлению данными.

Параметр управления потоками данных (DFM)	Как его реализовали в HealthConnect
Загрузка данных	Настроили NiFi, чтобы получать данные из различных источников. Например, порталов пациентов и медицинских устройств
Преобразование данных	Используют процессоры для анонимизации и шифрования конфиденциальных полей данных по мере необходимости
Маршрутизация данных	Направляют данные в соответствующие службы на основе содержания и метаданных. Например, результаты лабораторных исследований отправляют в диагностические системы
Меры безопасности	Внедрили шифрование SSL/TLS для данных, которые передаются внутри NiFi. Также настроили контроль доступа на основе ролей, чтобы ограничить круг лиц, которые могут изменять потоки данных
Мониторинг	Компания производит мониторинг производительности потоков данных, чтобы выявлять узкие места и ошибки в режиме реального времени

Как только вы получили чёткое визуальное представление потоков данных с помощью диаграмм DFM, нужно проанализировать, что в системе можно улучшить. Затем — отразите изменения в виде диаграммы To Be. На следующем этап вам будет проще это реализовать. На этапе перехода важно отслеживать, защищать и корректировать процесс по мере необходимости.

Задание 1

Какие из перечисленных задач позволяет решить использование подхода Data Flow Management?

Повышение безопасности и конфиденциальности данных

DFM способствует обеспечению конфиденциальности и безопасности данных.

Управление финансовыми потоками в компании

Управление финансовыми потоками не являются задачей DFM.

Оптимизация процессов обработки данных

DFM помогает оптимизировать работу с данными в организации.

Снижение стоимости IT-оборудования

DFM не помогает снизить стоимость оборудования.

Упрощение взаимодействия между отделами

Управление взаимодействием между отделами не является задачей DFM.

Миграция на новые сервисы без потери данных

Построение DFM при миграции на новые сервисы позволит отследить потоки данных и избежать их потерь и дублирования.

Задание 2

В организации используется Apache NiFi для обработки и передачи данных клиентов между различными внутренними системами и облачными сервисами. Был выявлен случай утечки конфиденциальной информации. Команда безопасности попросила сформулировать меры, которые помогут предотвратить подобные ситуации в будущем.

Что нужно предпринять для улучшения безопасности потоков данных в Apache NiFi?

Установить NiFi только в локальную сеть без внешних соединений, ограничив взаимодействие с другими системами

Принимать такие меры нет необходимости. Для повышения безопасности нужно настроить шифрование данных.

Разработать собственное решение для защиты данных без использования стандартного функционала

В этом нет необходимости, поскольку в Apache NiFi поддерживает шифрование, контроль доступа и отслеживание происхождения данных.

Настроить шифрование данных в покое, в процессе передачи и файлов на диске

Apache NiFi поддерживает шифрование данных как при передаче — с использованием SSL/TLS, так и при хранении — с использованием AES. Это гарантирует защиту данных в процессе их обработки и хранения.

Срочно усилить физическую безопасность серверов и сетевой инфраструктуры, не трогая шифрование

Усиливать физическую безопасность серверов без настройки шифрования данных мало эффективно.

Итоги

Data Flow Management, DFM — это процесс управления потоками данных. Он включает в себя процессы и технологии для сбора, обработки, хранения и передачи данных. DFM позволяет обеспечивать конфиденциальность и безопасность данных, оптимизировать процессы обработки данных, а также повысить прозрачность и подотчётность.
Основной инструмент Data Flow Management — это диаграммы потоков данных (Data Flow Diagram, DFD). Диаграммы потоков данных включают пять компонентов: источники данных, процессы, хранилища данных, потоки данных и внешние субъекты.
Чтобы построить Data Flow Diagram, нужно выполнить пять шагов: определите элементы данных, составьте карту источников и получателей данных, опишите процессы, свяжите потоки данных, проверьте и провалидируйте диаграмму.
Чтобы диаграмма была максимально эффективной, начинайте построение диаграмм с высокоуровневых потоков. Также лучше использовать стандартные символы и обозначить на диаграмме конфиденциальные данные. Советуем регулярно обновлять диаграммы — при каждом изменении в системах или процессах.
Чтобы упростить работу с потоками данных, рекомендуем использовать Apache NiFi. Это инструмент интеграции данных с открытым исходным кодом. Он позволяет автоматизировать операции обмена данными между разрозненными системами. Мы кратко рассказали про его функции и дали несколько рекомендаций для работы.