Как работать с разными слоями данных

~ 20 минут
Чтобы надёжно обрабатывать, хранить и использовать данные, особенно конфиденциальные, важно понимать их ключевые аспекты: слои данных и их состояния.
Слои данных описывают этапы, которые информация проходит внутри организации, — от необработанных данных до их конечного, структурированного и проверенного состояния — золотого источника. Каждый слой требует индивидуального подхода к защите, чтобы минимизировать риски утечек и нарушений.
Данные также могут находиться в одном из трёх состояний: в покое, в процессе передачи или в процессе использования. Эти состояния описывают, как данные используются или обрабатываются в текущий момент, и каждое из них имеет свои риски. Например, данные в покое уязвимы при физическом доступе к устройствам хранения, а данные в процессе передачи могут быть перехвачены злоумышленниками.
В уроке мы разберём, как правильно работать с данными на всех этапах их жизненного цикла и в разных состояниях, чтобы обеспечить их безопасность и соответствие нормам конфиденциальности.

Слои данных

В процессе работы с данными важно понимать, что все они организованы в несколько уровней, каждый из которых выполняет свою функцию и имеет свои особенности. Основные слои данных включают сырые данные , обработанные размеченные наборы и так называемый золотой источник.
Такая структура позволяет не только упрощать обработку информации и повышать её качество, но и адаптировать данные под конкретные задачи.

Сырые данные

✏️ Сырые данные — это данные в их исходном виде, собранные из различных источников без какой-либо обработки или манипуляций. Они неструктурированы, не отфильтрованы и часто содержат неточности, избыточную или неактуальную информацию.
Значение слоя сырых данных
За счёт своей неподготовленности такие данные создают сложности для анализа, но при этом сохраняют максимальную гибкость, поскольку могут быть обработаны разными способами с учётом новых технологий и подходов. Их объём может быть очень большим, особенно если данные поступают от множества сенсоров или систем.
Необработанные данные служат отправной точкой для анализа и всех действий по обработке данных. Этот слой данных важен в перспективе: сохранение исходных данных позволяет в будущем обрабатывать их с помощью новых методов или технологий.
Сложности в работе с сырыми данными
Одной из основных проблем при работе с сырыми данными является их качество. Такие данные часто содержат ошибки, неточности и несоответствия, которые могут негативно влиять на результаты анализа. Без предварительной очистки и структурирования информация может привести к искажённому пониманию ситуации и неверным выводам. Поэтому необходима тщательная обработка данных для устранения неточностей и повышения их надёжности перед использованием в аналитических или исследовательских целях.
Ещё одной существенной трудностью является управление большими объёмами данных и обеспечение их конфиденциальности. Хранение огромных массивов информации требует значительных ресурсов и эффективных систем управления данными. И так как сырые данные могут содержать чувствительную или личную информацию, они должны быть защищены от несанкционированного доступа. Это требует внедрения строгих мер безопасности и соблюдения нормативных требований в области защиты данных.

Обработанные и размеченные данные

✏️ Обработанные данные — это исходные данные, прошедшие очистку, преобразование и организацию, чтобы сделать их пригодными для анализа. Тегирование включает в себя маркировку данных метаданными для обеспечения контекста, облегчения поиска и улучшения управления данными.
Значение обработанных и размеченных данных
Обработанные данные отличаются тем, что они уже очищены и упорядочены: ошибки исправлены, дубликаты удалены, а форматирование приведено к одному стилю. Такие данные удобнее использовать, так как они структурированы и понятны для пользователей и приложений. Дополнительно к ним добавляются метки и теги, которые помогают понять, откуда взялись данные и как с ними работать.
Обработанные данные важны, потому что они готовы к анализу и помогают быстро принимать решения. С ними проще составлять отчёты и находить нужную информацию. Ещё один плюс — они позволяют соблюдать правила обработки данных, например, выделяя конфиденциальную информацию.
Сложности в работе с обработанными и размеченными данными
Но есть и трудности. Если данные обработать неправильно, можно случайно потерять что-то важное. Ещё нужно обеспечить единообразную обработку данных в организации, чтобы все данные обрабатывались одинаково, иначе это создаст путаницу. А чтобы метки были полезными, нужна система маркировки — метки нужно прописывать чётко и понятно, иначе работать с данными станет сложнее.

Золотой источник

На основе обработки, объединения и валидации данных из разных источников создаётся золотой источник, ещё называемый источником правды.
✏️ Золотой источник (англ. golden source) — это главный и самый надёжный набор данных, который используется всеми в организации. Его основная задача — стать единым ориентиром, которому могут доверять сотрудники, системы и процессы. Он помогает избежать путаницы и гарантирует, что вся организация работает с актуальной и согласованной информацией.
Значение золотого источника
Источник правды обеспечивает единообразие данных внутри систем, поэтому он особенно полезен для крупных компаний со множеством отделов. Обычно такие данные хранятся централизованно в защищённой базе, доступ к которой имеют только авторизованные пользователи.
Он гарантирует целостность данных: сотрудники могут быть уверены, что информация точна и полна. И уменьшает количество ошибок, связанных с несогласованностью данных. А главное — золотой источник поддерживает надёжную аналитику, на основе которой принимаются стратегические решения.
Сложности в работе с золотым источником
Для качественной работы с данными этого слоя требуется не только их правильное объединение, но и поддержание их актуальности и согласованности. Данные должны быть всегда актуальными — это значит, что нужно настроить постоянную синхронизацию с различными источниками. Ещё одна задача — правильно настроить доступ, чтобы информация была одновременно защищена и удобна в использовании. Кроме того, интеграция данных из разных систем и форматов в единую базу — это сложный процесс, который требует времени и усилий.
Несмотря на сложности, золотой источник — это основа качественной работы с данными. Он помогает компании оставаться на одной волне, избегать ошибок и принимать решения, основанные на проверенной информации. Его внедрение и поддержка — это долгосрочная инвестиция в точность и эффективность.

Сергей

Какую роль играют слои данных в соблюдении конфиденциальности?

Роль слоёв данных в обеспечении соответствия требованиям конфиденциальности

Каждый слой данных требует особого подхода, поскольку данные на каждом этапе имеют свои особенности и риски.
Сырые данные могут содержать много лишнего или конфиденциального. Например, это могут быть необработанные логи с устройств или ответы на анкеты. Такие данные нужно фильтровать, удаляя ненужное и потенциально чувствительное.
Обработанные и размеченные данные уже структурированы и содержат метки, которые делают их более полезными для анализа (например, категории покупок в профилях клиентов). Здесь важно проверять их на соответствие стандартам компании или отрасли, чтобы избежать ошибок и некорректных выводов.
Золотой источник становится основой для принятия решений — например, список актуальных клиентов. Эти данные необходимо строго контролировать, доступ к ним нужно обеспечивать только для уполномоченных лиц и создавать их резервные копии.

Лучшие практики

  1. Установить чёткие политики управления данными Определите роли и обязанности по управлению данными. Установите стандарты качества, обработки и безопасности данных.
  2. Автоматизировать обработку данных Используйте инструменты ETL (англ. Extract, Transform, Load) для оптимизации задач обработки данных. Внедряйте автоматизированные проверки для поддержания качества данных.
  3. Инвестировать в масштабируемую инфраструктуру Используйте облачные сервисы или масштабируемые системы хранения данных для удовлетворения растущих потребностей в данных. Убедитесь, что системы могут работать с растущими объёмами данных без ущерба для производительности.
  4. Проводить регулярный аудит и обновление данных Планируйте периодические проверки данных для выявления и устранения проблем. Обновляйте модели данных и правила обработки с учётом изменений в нормативных актах или бизнес-требованиях.
  5. Налаживать межфункциональное взаимодействие Привлекайте заинтересованных лиц из IT-отдела, отдела соблюдения нормативных требований, операционного отдела и других соответствующих подразделений. Поддерживайте открытое общение для оперативного решения проблем, связанных с данными.
После того как вы разобрались в слоях данных и методах работы с ними, важно учитывать, что данные могут находиться в разных состояниях: в покое, в пути или в процессе использования. Состояние данных влияет на подход к защите.

Три состояния данных и их защита

Важно понимать, что данные могут находиться в разных состояниях и каждое из них имеет свои особенности и риски. Например, данные могут просто храниться на диске (в состоянии покоя), передаваться по сети (в процессе передачи) или использоваться в работе приложений (в процессе использования).
Угрозы для данных в каждом случае разные: устройство с данными в покое могут украсть, данные в пути — перехватить, а в процессе использования — украсть с помощью вредоносных программ. Знание этих состояний помогает выбрать правильные способы защиты, чтобы минимизировать риски утечек.

Данные в состоянии покоя

✏️ Под данными в состоянии покоя понимаются данные, хранящиеся на физических носителях или в цифровых системах хранения.
К ним относятся данные на жёстких дисках, в базах данных, файловых системах, облачных хранилищах, резервных копиях и портативных устройствах, таких как USB-накопители.
В этом состоянии данные нужно защищать от нескольких типов угроз, которые могут привести к утечкам:
  • Физическая кража — это риск, когда устройства или носители с конфиденциальными данными, например ноутбук или флешка, попадают в руки злоумышленников. Без шифрования данные на таких устройствах легко прочитать.
  • Другой риск — это несанкционированный доступ. Злоумышленники могут проникнуть в систему извне через взлом или воспользоваться слабым паролем. Также опасность представляют сотрудники с доступом к данным, если они действуют недобросовестно.
  • Часто становятся уязвимыми устаревшие системы. Если компания не обновляет программное обеспечение, хакеры могут воспользоваться известными ошибками и проникнуть в базу данных. Регулярные обновления помогают защитить информацию от таких угроз.

Защита данных в состоянии покоя

Данные, которые хранятся на устройствах, можно защитить с помощью шифрования. Если, например, кто-то украдёт ваш ноутбук или жёсткий диск, без ключа шифрования он не сможет получить доступ к информации.
  • Полное шифрование диска (FDE)
    Этот метод защищает весь диск сразу. Такой метод шифрует все данные на устройстве хранения, требуя аутентификации для доступа к любым данным.
  • Шифрование отдельных файлов или папок
    Этот способ предполагает, что пользователь сам может выбрать, какие именно данные зашифровать. Например, можно защитить папку с рабочими документами, не шифруя остальные файлы. Такой способ удобен, если большая часть данных не требует защиты.
  • Шифрование баз данных
    Это полезно для компаний, которые хранят важные данные, например адреса клиентов или номера карт. Система шифрует только важные поля, так что, даже если база данных скомпрометирована, информация остаётся недоступной.
💡 Используйте проверенные алгоритмы. Например, AES-256. Этот алгоритм хорошо зарекомендовал себя и используется для защиты данных во многих компаниях.
Храните ключи отдельно. Если ключи шифрования хранятся вместе с данными, они теряют смысл. Лучше держать их на защищённом сервере или в специальной системе управления.
Ограничьте доступ. Настройте права доступа так, чтобы данные могли видеть только те, кому это действительно нужно. Например, сотрудникам отдела продаж необязательно иметь доступ к финансовым отчётам.
Методы шифрования для данных в состоянии покоя
  1. Симметричное шифрование использует один ключ для шифрования и дешифрования. Алгоритм AES (например, с длиной ключа 256 бит) популярен благодаря своей скорости и надёжности. Например, если на жёстком диске компании хранятся финансовые отчёты, их можно зашифровать с помощью AES, чтобы предотвратить доступ в случае кражи устройства.
  2. Аппаратное шифрование — самошифрующиеся диски (SED) автоматически шифруют данные на уровне оборудования. Это повышает безопасность и снижает нагрузку на процессор. Например, ноутбуки сотрудников, оснащённые SED, защищают конфиденциальные данные даже без вмешательства пользователя.

Данные в процессе передачи

✏️ Транзитные данные, или данные в процессе передачи, — это данные, которые передаются по сетям.
К ним относятся данные, передаваемые через интернет, частные сети, беспроводные коммуникации, а также между устройствами или системами.
Угрозы таких данных специфичны:
  • Перехват данных — это ситуация, когда злоумышленники перехватывают информацию, пока она передаётся, например, через интернет. Один из методов — атака «человек посередине», когда хакер встраивается между отправителем и получателем, чтобы украсть данные.
  • Другой риск — подслушивание. Если данные передаются через незащищённую сеть, например, открытую Wi-Fi-точку, злоумышленники могут прослушивать обмен информацией. Это особенно опасно для конфиденциальных данных, таких как логины или номера банковских карт.
  • Плюс есть риск манипуляции данными. Во время передачи хакеры могут не только перехватывать данные, но и изменять их незаметно для отправителя и получателя. Это может привести к серьёзным последствиям (например, искажению финансовой или личной информации).

Защита данных в процессе передачи

Чтобы предотвратить утечку, нужно обеспечить шифрование каналов связи. Это включает защиту не только самих данных, но и сетей, через которые они передаются, с использованием надёжных протоколов и технологий.
  • Transport Layer Security (TLS) и Secure Sockets Layer (SSL)
    Эти технологии обеспечивают шифрование данных при их передаче через интернет. Например, HTTPS на браузере использует TLS, чтобы защитить данные, пароли или номера банковских карт, от перехвата.
  • Виртуальные частные сети (VPN)
    VPN создаёт «зашифрованный туннель» для передачи данных через публичные сети. Это полезно, например, когда вы работаете в кофейне или аэропорту, чтобы никто в той же сети не смог перехватить вашу информацию.
  • Secure Shell (SSH)
    SSH используется для создания защищённых подключений к серверам. Это помогает администраторам безопасно управлять удалёнными системами без риска утечки данных.
💡 Используйте современные протоколы шифрования. Убедитесь, что при передаче данных используется TLS версии 1.2 или выше. Это минимизирует вероятность взлома.
Следите за цифровыми сертификатами. Используйте действительные сертификаты от надёжных центров, чтобы гарантировать подлинность защищённых подключений.
Отключите устаревшие протоколы. Старые версии TLS и SSL имеют уязвимости. Отключите их, чтобы злоумышленники не смогли воспользоваться известными слабостями.
Методы шифрования для данных в процессе передачи
  1. Асимметричное шифрование, в котором используется пара ключей — открытый и закрытый. Например, алгоритм RSA применяется для установления защищённого соединения между веб-сайтом и браузером. Когда пользователь вводит данные карты на сайте, RSA используется для безопасной передачи ключей шифрования.
  2. Протоколы TLS/SSL — они сочетают асимметричное и симметричное шифрование, чтобы сначала создать защищённый канал, а затем передавать данные быстрее с использованием симметричных ключей. Например, HTTPS-соединение, защищающее логины и пароли на сайтах.

Данные в процессе использования

✏️ Под используемыми данными понимаются данные, которые активно обрабатываются приложениями или системами.
К ним относятся данные, загруженные в системную память (RAM), редактируемые, просматриваемые или подвергаемые другим манипуляциям.
Компании должны учитывать риски, связанные с процессом использования данных.
  • Одна из угроз — это скрапинг памяти, когда вредоносное ПО проникает в систему и получает доступ к данным, которые временно хранятся в оперативной памяти. Например, это могут быть пароли или данные платёжных карт, которые система обрабатывает в момент оплаты.
  • Ещё существует риск неавторизованного доступа к процессам. Если приложение скомпрометировано, злоумышленники могут использовать его для получения данных, даже если у них нет прямого доступа к системе. Это особенно опасно для приложений, которые работают с конфиденциальной информацией.
  • Компании должны учитывать и инсайдерские угрозы. Даже уполномоченные сотрудники могут неправомерно использовать доступ к данным (например, копировать или передавать их третьим лицам). Это может происходить как по ошибке, так и намеренно, что требует строгого контроля и мониторинга.

Защита данных в процессе использования

Защита используемых данных является более сложной задачей, поскольку данные должны быть доступны приложениям и пользователям для обработки. Однако несколько стратегий могут повысить уровень безопасности.
  • Шифрование на уровне приложения
    Данные шифруются приложением и расшифровываются только тогда, когда это необходимо. Например, платёжные приложения могут расшифровывать данные карт только в момент их проверки, а затем сразу же удалять из памяти.
  • Защищённые зоны и доверенные среды исполнения (TEEs)
    Такие технологии, как Intel SGX, создают изолированные области в памяти, где данные обрабатываются без риска вмешательства извне. Например, они могут использоваться для обработки данных медицинских исследований или финансовых операций.
  • Гомоморфное шифрование
    Это передовая техника, позволяющая выполнять вычисления над зашифрованными данными без их расшифровки. Например, она может быть полезна при обработке зашифрованных данных клиентов в облаке, но пока это решение дорого и используется в узкоспециализированных задачах.
💡 Установите ограничение доступа к данным. Старайтесь минимизировать объём конфиденциальной информации, которая загружается в память одновременно. Например, обрабатывайте только текущий набор данных, а не загружайте всю базу целиком.
Применяйте безопасное кодирование. При разработке приложений важно учитывать требования безопасности. Избегайте типичных ошибок вроде неконтролируемых массивов или инъекций кода, проверяйте входные данные пользователей перед обработкой.
Настройте регулярный мониторинг. Установите системы мониторинга, чтобы отслеживать подозрительные действия в реальном времени. Например, это может быть обнаружение попыток доступа к памяти приложения или несанкционированной передачи данных.
Эти меры помогут минимизировать риски утечки данных, даже если они активно используются в процессе обработки.

Выбор методов шифрования

Методы шифрования подбираются в зависимости от состояния данных, их важности, производительности системы и требований законодательства. Но кроме этого есть и другие факторы, которые следует учитывать в этом вопросе.
  1. Производительность: методы шифрования требуют вычислительных ресурсов. Например, симметричный алгоритм AES справляется с большими объёмами быстрее, чем асимметричный RSA. Это важно учитывать на серверах, обрабатывающих большой поток данных.
  2. Совместимость: технологии шифрования должны работать с текущей инфраструктурой. Например, перед использованием аппаратного шифрования убедитесь, что оборудование поддерживает SED.
  3. Требования регуляторов: в некоторых случаях законодательство определяет стандарт шифрования. Например, для обработки данных банковских карт требуется AES-256 и регулярное обновление ключей.
  4. Управление ключами: эффективное шифрование зависит от надёжного хранения и управления ключами. Они должны генерироваться, храниться и обновляться безопасно. Например, использование HSM помогает минимизировать риск компрометации ключей.
Пример:
Компания HealthConnect выбрала AES-256 для данных, находящихся в состоянии покоя, благодаря его высокой безопасности и эффективности. Для транзитных данных был выбран TLS 1.3, поскольку он обладает расширенными функциями безопасности и улучшенной производительностью по сравнению с предыдущими версиями. Компания вложила средства и в централизованную систему управления ключами для безопасной работы с ключами шифрования.

Что почитать про защиту данных в разных состояниях

Задание 1

При работе с каким слоем данных в описанных ситуациях были допущены ошибки?
Приложения криптовалютной компании после перехода на новую архитектуру стали получать жалобы от клиентов на ошибки в подсчётах предполагаемой выгоды возможных транзакций. Аналитики предположили дублирование информации в старой и новой системах, поскольку компания находится в процессе перехода, а также потерю части данных. При более детальном анализе эти гипотезы не подтвердились
Обработанные данные
В IoT-системе сенсор собирает данные о температуре воздуха и включает систему отопления дома при низких температурах. После миграции на новые сервисы пользователи жалуются на включение отопления в тёплую погоду и невключение в холодную. При расследовании инцидента инженеры сообщают о том, что сеть перегружена
Сырые данные
В сети клиник после внедрения новой системы по работе с данными на основе слоёв стали происходить ошибки. Врачи стали видеть в карточке пациента не только свою историю общения в корпоративном мессенджере с пациентом, но и его коммуникацию с другими специалистами
Золотой источник
Сеть продуктовых магазинов внедрила новую систему складских учётов. В неё старшие кассиры заносят данные о запасах в конце смены. Часто они жалуются на сложности работы с ней и отсутствие должного обучения.
Стали поступать жалобы от директоров магазинов на ошибки в отчётах о запасах. При проведении мониторинга, логирования и трейсинга специалисты не выявили ошибок в дублировании данных или их потере. Система работы с данными была внедрена уже более года назад, и критические ошибки были отловлены и устранены
Сырые данные

Задание 2

Соотнесите методы защиты данных с их состояниями.

В покое
Шифрование диска
Шифрование файлов

В процессе передачи
Применение протокола TLS
Использование VPN

В процессе использования
Гомоморфное шифрование
Использование доверенных сред исполнения

Итоги

  • Работа с данными требует понимания их слоёв ― это сырые данные, обработанные и размеченные данные, а также золотой источник. Каждый слой имеет свою специфику и риски. Сырые данные часто содержат избыточную или чувствительную информацию, требующую фильтрации. Размеченные данные важно защищать от манипуляций, чтобы избежать искажений. Золотой источник, как эталонная версия данных, критически важен для организации, и его целостность необходимо строго контролировать.
  • Второй важный фактор для выбора способа защиты данных — это состояние. Данные могут находиться в трёх состояниях: в покое, в процессе передачи или в процессе использования. Каждое состояние предъявляет свои требования к безопасности. Например, данные в покое требуют защиты от физического доступа, а данные в процессе передачи — от перехвата.
  • Данные в состоянии покоя — это информация, хранящаяся на жёстких дисках, серверах или в облаке. Основные риски включают физическую кражу устройств или несанкционированный доступ. Эффективная защита включает использование шифрования, например AES-256 и самошифрующихся дисков (SED). Ещё важно ограничить доступ к устройствам хранения и регулярно обновлять системы безопасности.
  • Данные в процессе передачи — это информация, перемещающаяся по сетям (например, через интернет). Основные риски включают перехват и подмену данных. Защита обеспечивается с помощью асимметричного шифрования (RSA) и протоколов TLS/SSL, которые создают безопасные соединения. А использование защищённых туннелей помогает обезопасить данные, передаваемые через публичные сети.
  • Данные в процессе использования — это информация, которая обрабатывается в памяти приложений. Основные риски включают скрапинг памяти и доступ к данным через уязвимости в приложениях. Защита достигается шифрованием на уровне приложения, использованием доверенных сред исполнения (TEEs), а также ограничением объёма данных, одновременно загружаемых в память. Регулярный мониторинг попыток доступа к данным позволяет оперативно реагировать на угрозы.