kazminaviktoriya1
В профиль
Выход
![](data:image/svg+xml,<svg xmlns="http://www.w3.org/2000/svg" width="42" height="42"><rect fill-opacity="0"/></svg>)
Добавить аккаунт
Форматы хранилищ данных
Вы уже знаете, какими бывают модели данных и как их представить графически. Модели используются при проектировании хранилища данных. О том, что это и какими бывают хранилища, вы узнаете в этом уроке.
Чтобы приложение работало эффективно, важно убедиться, что хранилище данных обеспечивает быстродействие системы и её отказоустойчивость.
Отказоустойчивость — свойство, которое сохраняет работоспособность системы, если какие-либо из её элементов не сработали как надо.
Как этого добиться? С помощью грамотного проектирования хранилища. Для этого системному аналитику и другим членам команды разработки нужно выбрать формат хранилища данных.
Форматы хранилищ данных
Для прикладных систем (те, что предназначены для выполнения пользовательских задач) есть два основных формата хранилищ данных — файлы и базы данных. Последние делятся на разные виды: реляционные, нереляционные, объектные и многомерные базы данных (БД).
Файлы — это электронные списки данных, оптимизированные для выполнения конкретной транзакции. Транзакция — это группа последовательных операций (архив запросов к БД) и логическая единица работы с данными. Транзакции защищают корректность данных на основе принципа: «всё или ничего».
Например, вы решили отправить другу пять фотографий в мессенджере. Можно:
- Кинуть каждую фотографию отдельно.
- Сложить все фотографии в архив и отправить его.
Кажется, что особой разницы нет, но что будет, если у вас пропадёт связь или возникнет ошибка загрузки?
В первом случае ваш друг получит четыре фотографии, а одна до него не дойдёт. Тогда вам придётся повторно отправлять эту фотографию. Во втором случае ваш друг не получит все пять фото и вам придётся отправлять их заново.
Казалось бы, не страшно, если не отправилась одна фотография из пяти — легко отправить её снова. Но транзакции в приложении могут касаться важных данных, которые участвуют, например, в банковских переводах. В базе данных могут быть тысячи записей, а значит, поиск утерянных данных становится сложной задачей.
База данных — это группы структурированных данных, которые содержат логически связанную информацию (например через общие поля). За доступ к данным и возможность работать с ними отвечает система управления базами данных (СУБД). С её помощью можно создавать, менять и удалять данные, а также обеспечивать их безопасность.
Файловые хранилища
Этот формат хранилища состоит из файлов, которые изменяются и обрабатываются с помощью разрабатываемого приложения. Чаще всего для файлов в таких хранилищах используется формат CSV (Comma-Separated Values). В нём для записи используется запятая или табуляция в качестве разделителя.
Файлы в таких хранилищах часто называют связанными списками (linked lists), поскольку отдельная запись в файле соединяется с другими с помощью указателя, который содержит информацию о расположении связанной записи. Указатель помещается в конце каждой записи и указывает путь к следующей. Если текущая запись — последняя, её указатель принимает пустое значение (null).
Существует несколько типов файлов, отличающихся функциями, которые они выполняют в приложении:
- Основные файлы (master files).
- Файлы поиска (look-up files).
- Файлы транзакций (transaction files).
- Файлы аудита (audit files).
- Исторические или архивные файлы (history files).
Master files (основные файлы) хранят актуальную, важную для бизнеса и приложения информацию. Например, сведения о заказах или персональные данные клиентов. Обычно основные файлы хранятся долго, а новые записи в них добавляются по мере того, как система создаёт заказы или добавляет клиентов.
Look-up files (файлы поиска) — по сути справочники со статичными значениями. К ним относятся списки с допустимыми значениями некоторых параметров. Например, списки стран или городов, из которых можно выбрать некое значение. Файлы поиска используются для проверки: если адрес клиента добавляется в основной файл, название города из него сверяется с файлом поиска. Так можно убедиться в корректности введённого значения.
Transaction files (файлы транзакций) содержат информацию, которая используется для обновления основного файла. Записи в файле транзакций можно либо удалить после копирования в основной файл, либо оставить, чтобы в будущем выполнить ту же операцию.
Audit files (файлы аудита) создаются, чтобы отслеживать историю изменений в данных. В таких файлах система записывает данные пользователя, изменившего документ, а также дату изменения и значение, которое он внёс. Файл аудита содержит значения данных «до» и «после» изменений. Запись будет выглядеть так:
Пользователь | Дата | Поле | Было | Стало
Иванов И.И. | 07.09.22 | Фамилия врача | Петрова | Сидорова
С помощью файлов аудита можно сделать проверку, если корректность данных вызывает сомнения.
History files (исторические или архивные файлы) содержат записи о прошлых транзакциях. Например, информацию о старых заказах, которая больше не нужна пользователям системы. В архивные файлы важная, но незадействованная информация сгружается из основных. Так неиспользуемые данные не замедляют поиск по основным файлам.
Подберите тип файла для хранения описанных данных.
Файл с информацией об актуальных записях на приём к врачу
Основной файл
Именно Master file (основной файл) хранит актуальную важную информацию.
Файл с информацией о записях на приём к врачу за 2010 год
Исторический файл
Исторический файл хранит данные о прошлых транзакциях, которые сейчас не используются.
Файл с информацией об изменении фамилии главного врача
Файл транзакций
Транзакционный файл содержит новые данные, которые необходимо внести в основной.
Файл с информацией о сотруднике, который внёс данные об изменении фамилии главного врача
Файл аудита
Файл аудита по сути — история изменений в данных, в нём также хранится информация об инициаторе изменений.
Файл с информацией о городах, доступных для записи на приём
Файл поиска
Файл поиска используется для проверки допустимости значений в основном и транзакционном файлах.
Базы данных и СУБД
Реляционные базы данных
Реляционные базы данных — самый распространённый тип баз для приложений. Реляционная БД приложения выглядит как набор таблиц, в которых размещаются данные.
Строка таблицы — это набор связанных значений, которые относятся к одному объекту или сущности. Для каждой строки существует уникальный идентификатор записи — первичный ключ. Для связи таблиц друг с другом первичные ключи из одной таблицы добавляются к строкам другой, где они становятся внешними ключами.
Большинство СУБД для реляционных баз данных поддерживают ссылочную целостность. СУБД проверяют значения, связывающие таблицы вместе через первичный и внешний ключ, и подтверждают, что они действительны и правильно синхронизированы. Например, если в таблице Order вы попытаетесь создать заказ с ID user, которого нет в таблице User, СУБД вернёт ошибку. Она не позволит добавить такую запись, поскольку при таком запросе внешний ключ будет недействительным и нарушится ссылочная целостность. Ссылочная целостность нужна для того, чтобы поддерживать логические связи между группами данных.
Для управления реляционными базами данных используется язык запросов SQL, с которым вы уже знакомы.
Примеры СУБД для реляционных баз данных: Microsoft Access, Oracle, Microsoft SQL Server, MySQL и PostgreSQL.
Нереляционные базы данных
В нереляционных БД (их ещё называют NoSQL-базами данных, поскольку в них почти не используется SQL) данные могут храниться не только в таблицах (например при типе «ключ-значение»), но и в документах (формата JSON или в графах).
Среди основных типов нереляционных БД:
- Хранилища документов.
- Столбчатые хранилища данных.
- «Ключ-значение».
- Графовые базы данных.
Хранилища документов
В отличие от реляционной БД, где данные одного объекта могут распределяться по разным таблицам, здесь все данные этого объекта хранятся в полях одного документа. При этом структура документов в хранилище может быть разной, что даёт бОльшую гибкость. Например, в реляционной базе данных все заданные поля нужно заполнить каким-то значением, иначе она покажет ошибку. В хранилище документов можно загрузить документы с разным количеством и значением атрибутов — это удобно, если в БД загружаются документы из разных источников.
Чтобы получить конкретный документ из базы, понадобится его уникальный идентификатор. С полями документов, в которых хранятся атрибуты, может работать СУБД. Приложение выполняет запросы к полям документа и применяет фильтры для сортировки их значений.
Примеры СУБД данного типа: CouchDB, Couchbase, MongoDB, Berkeley DB XML.
Столбчатые хранилища данных
Столбчатые хранилища данных похожи на реляционную базу тем, что тоже представляют данные в таблицах. Ключевая особенность таких БД в том, что столбцы этих таблиц подразделяются на группы или семейства столбцов.
В каждом семействе содержатся логически связанные данные об объекте. Обычно они извлекаются или управляются как единое целое. В семейство столбцов можно добавить новые столбцы. У строк со столбцами, которые содержат разные данные об одном объекте, — одинаковый ключ.
Примеры СУБД: Apache HBase, Apache Cassandra, ScyllaDB.
«Ключ-значение»
При таком типе нереляционной БД данные находятся в большой таблице. У каждого набора данных есть уникальный ключ. Большинство хранилищ пар «ключ-значение» поддерживают только самые простые операции: запросить, вставить, удалить. Чтобы частично или полностью изменить значение, приложение всегда перезаписывает существующее значение целиком (то есть удаляет старое значение и записывает новое). Такие системы используются для хранения изображений или создания специализированных файловых систем (например для хранения PDF-файлов).
Графовая база данных
В графовой базе данных узлы представляют сущности, а рёбра иллюстрируют связи между ними. У рёбер может быть разное направление, указывающее на характер связи.
Хранилища данных графов позволяют приложениям эффективно выполнять запросы, которые проходят через сеть узлов и рёбер, а также анализировать связи между сущностями. Такие хранилища широко применяются для приложений с большим количеством связей, например для социальных сетей.
Примеры СУБД: Neo4j, OrientDB, AllegroGraph, Blazegraph.
Чтобы лучше запомнить особенности разных нереляционных баз данных, соотнесите описание базы с её типом.
Чтобы внести изменение в этой базе данных, нужно полностью перезаписать текущее значение
«Ключ-значение»
БД типа «ключ-значение» не имеет доступа к внутреннему содержимому хранимого значения, поэтому при изменении требуется полное удаление значения и его повторная запись.
В такой БД мы можем эффективно отслеживать количество и характер связей между разными сущностями
Графовая БД
Поэтому именно такой тип баз данных применяется при создании систем рекомендаций и социальных сетей.
Эта БД внешне похожа на реляционную базу данных, но в ней данные об одном объекте не хранятся в разных полях, а содержатся в столбцах
Столбчатое хранилище
Эта особенность NoSQL баз данных такого типа позволяет им применяться в хранилищах больших данных и системах поддержки принятия решений.
В этой БД все связанные данные хранятся в одном месте, а СУБД имеет доступ к их значениям
Хранилище документов
Самые распространённые форматы документов для такой БД — XML, JSON и YAML.
Многомерные базы данных
Многомерная база данных — это тип базы данных, при котором данные организованы в виде упорядоченных многомерных массивов. Многомерные БД часто используются для организации хранилища больших данных (Big data). Big data — это практика извлечения, преобразования и последующего анализа данных.
В качестве формата хранения в многомерных БД используются массивы (наборы однотипных элементов), а для представления создаются витрины данных — таблицы, в которых данные агрегированы (например, суммированы или усреднены) по многим записям.
Агрегирование данных — это процесс сбора, обработки и представления информации в окончательном виде.
Когда данные впервые загружают в многомерную базу, она предварительно вычисляет их по разным параметрам, заданным системой, и сохраняет ответы, используя массивы. Хотя вычисления могут замедлить первоначальную загрузку данных, доступ к ним и последующий анализ уже не занимают много времени, поскольку «ответы» хранятся в массивах.
Такие базы данных для анализа больших массивов данных применяются для систем поддержки принятия решений (Decision Support System, DSS). Цель таких систем — помочь людям полностью и объективно проанализировать предметную деятельность при принятии решений.
Объектно-ориентированные базы данных
Объектно-ориентированная база данных (ООБД или объектная база) организована в соответствии с объектно-ориентированным подходом. При таком подходе все сущности рассматриваются как объекты с данными (атрибутами) и процессами (поведением).
В отличие от реляционных БД, где данные об одном объекте распределяются по таблицам, в объектно-ориентированной базе данных объекты сохраняются в том виде, в котором они были созданы. Объекты могут взаимодействовать друг с другом для получения информации или выполнения методов. Изменения в одном объекте не влияют на другие, потому что атрибуты и поведение объектов автономны внутри каждого из объектов.
В объектно-ориентированных БД сочетание данных и процессов называется «классами объектов». Класс может делиться на множество подклассов. Например, класс «человек» может делиться на подклассы «сотрудник» и «клиент». И то и другое — частные случаи класса «человек».
Объектные базы данных обычно используются в приложениях, которые требуют высокой производительности, множества вычислений и быстрых результатов. Объектно-ориентированные базы данных нередко используют системы отслеживания чего-либо в реальном времени (например сервис Flightradar24), архитектурные и инженерные приложения для 3D-моделирования, телекоммуникационные и научные продукты, системы, которые используются в молекулярных науках и астрономии.
Соотнесите описание базы данных с её типом.
Данные хранятся в упорядоченных таблицах и логически связываются с помощью первичных и внешних ключей
Реляционная БД
Реляционная БД — это набор таблиц с данными приложения, где в строках размещаются сущности, а в столбцах — значения их атрибутов. Сейчас это самый распространённый тип баз данных.
Данные хранятся в многомерных массивах, используются для анализа и поддержки принятия решений
Многомерная БД
Агрегированные данные хранятся в массивах, а для их представления создаются витрины данных.
Данные могут храниться в разнообразных форматах, для работы с ними редко используется язык запросов SQL
Нереляционная БД
В нереляционных базах данные могут храниться не только в таблицах (например при типе «ключ-значение»), но и в документах JSON или в графах.
Данные хранятся как объекты с характеристиками и поведением
Объектная БД
Объектно-ориентированная база данных (ООБД) организована в соответствии с объектно-ориентированным подходом. При таком подходе все сущности рассматриваются как объекты с данными (атрибутами) и процессами (поведением).
Данные хранятся в файлах, предназначенных для выполнения конкретных операций
Файловое хранилище
Чаще всего для хранения файлов используется CSV-формат; в нём записи делают с помощью запятых или табуляции в качестве разделителя.
Подведём итоги
Для работы любого приложения требуются хранилища данных. Есть два основных формата хранилищ данных — файлы и базы данных (БД). Последние делятся на разные типы. Основные из них:
- Реляционные — хранят данные в связанных таблицах. Сейчас это самый распространённый тип БД.
- Нереляционные — узконаправленные базы данных, которые хранят данные в разных форматах и необязательно поддерживают язык запросов SQL.
- Объектные — базы данных, которые хранят информацию об объекте целиком и применяются в приложениях, реализуемых в объектно-ориентированном подходе.
- Многомерные — базы данных для сложной аналитики и поддержки принятия решений, чаще всего реализуются в хранилищах больших данных.
Базы данных управляются специальным программным обеспечением — системой управления базой данных (СУБД).
