Добро пожаловать в удивительный мир хранения данных!
Сегодня для управления высокими рабочими нагрузками, огромным количеством неоднородных данных требуются различные решения хранения. В тоже время, быстрое развитие технологий хранения приводит к ежедневному появлению новых опции. Сейчас у администраторов есть возможность выбора из целого ряда типов и конфигураций хранилищ. Но не всегда понятно, какие наилучшим образом подойдут для решения именно Ваших запросов.
В этой статье рассматривается многообразие современных решений хранения, базовые концепции, которые являются строительными блоками для сегодняшних решений хранения.
Запоминающие носители.
Сегодня для большинства рабочих нагрузок доступно два типа запоминающих носителей: жесткие диски (HDDs) и твердотелные накопители (SSDs). Оба являются формами энергонезависимого хранения. Другими словами, они сохраняют данные, даже в случае отключения питания, в отличие от традиционного оперативного запоминающего устройства (RAM), которое намного быстрее, но является более дорогостоящим, и, конечно, энергозависимым.
У жесткого диска репутация рабочей лошадки дата-центра для поддержки большого количества приложений. На протяжении многих лет он уверенно развивался для обработки больших объемов данных, предоставляя лучшую производительность чтения и записи.
Жесткий диск содержит одну или несколько вращающихся пластин, на которых хранятся данные. Пластины надежно защищены внутри герметичного корпуса вместе с другими компонентами, например считывающими магнитными головками. Современные жесткие диски могут хранить 16 и более ТБ данных, и не смотря на популярность SSd дисков, продолжают играть важную роль в корпоративном хранилище.
Твердотельные накопители довольно популярны в дата-центрах всех размеров из-за увеличившийся потребности в высокопроизводительном хранилище, технологических улучшений и невысоких цен.
В отличие от жесткого диска, у твердотельного накопителя нет вращающихся частей, а хранение данных происходит на связанных между собой силиконовых чипах, что приводит к лучшей производительности без дополнительного места и энергии. В настоящее время большинство SSD-хранилищ основаны на технологиях NAND-флэш, где биты данных хранятся в ячейках и регулируются электрическими зарядами.
И жесткий диск, и твердотельные накопители обладают как преимуществами, так и недостатками. По этой причине многие компании делают выбор в пользу использования обоих видов, применяя SSD диски для выскопроизводительных рабочих нагрузок, но выбирая жёсткий диск для остальных процессов.
У некоторых компаний уже есть внедренные гибридные массивы, объединяющие жёсткие диски и твердотельные накопители. Точное их соотношение, а также конфигурация массива, зависят от гибридного решения, но результат одинаков. Вы получаете преимущества обоих типов хранения, минимизируя их недостатки.
Некоторые компании все еще используют ленточный накопитель, в основном для целей резервного копирования и архивирования. В системе ленточного хранения данные сохраняются на магнитной ленте, которая обычно помещена в кассету или картридж. Ленточное хранение не относится к числу эффективных и быстрых, если говорить о поддержке интенсивных рабочих нагрузок, но оно может хранить большое количество данных по относительно низкой цене.
Интерфейсы, Форм-факторы, Протоколы хранения.
Когда дело доходит до хранения, такие темы как интерфейс, форм-фактор и протокол хранения приводят в замешательство. При описании технологий хранения эти термины используются как синонимы, неточно и каждый раз по-разному. И этому есть причина: любую из этих технологий можно использовать для различных целей, что приводит к вариативности описаний.
Например, Последовательный интерфейс обмена данными с накопителями информации (SATA) обычно относят к интерфейсу подключения. SATA - один из наиболее популярных интерфейсов, поддерживающий широкий спектр устройств хранения (жесткие диски, SSD-накопители). Если сравнивать с его предшественником Параллельным интерфейсом подключения накопителей к компьютеру (PATA), SATA быстрее, необходимы небольшие коннекторы, и поддерживает возможность горячего переключения.
Но SATA также относят к фактору и к протоколу. Это связано с тем, что SATA - такой же стандарт, как и интерфейс, и определяет методологию подключения накопителей данных к компьютерным системам и передачи данных. В результате термин SATA часто используют для обозначения компонентов в стеке хранения, включая транспортный уровень, физические коннекторы и сами устройства хранения.
Чтобы упорядочить этот хаос, я использую термин интерфейс для обозначения того, как устройство хранения подключается к компьютеру. Интерфейс определяет физические и логические характеристики для обеспечения условий передачи данных, которые могут включать все от шинных соединителей компьютера до технологии оповещения, которая управляет передачей данных.
С интерфейсом связаны форм-фактор, который имеет отношение к размеру и форме устройства хранения, и протокол, который представляет собой набор правил, определяющих взаимодействие устройства хранения и компьютера друг с другом. Запоминающее устройство форм-фактора подключается к компьютеру через интерфейс, используя протокол для определения способа передачи данных на компьютер и обратно.
Рассмотрим пример, который поможет нам прояснить как это работает. Другая технология, которая определяется как интерфейс - шина для подключения устройств хранения напрямую к материнской плате компьютера (PCIe). Благодаря прямому подключению, PCIe повышает производительность и снижает время отклика. Кроме того, расширительные слоты PCIe бывают нескольких конфигураций, которые основаны на количестве полос данных. Например, расширительный слот х16 использует 16 полос данных.
Интерфейс PCIe существует несколько лет, в основном для поддержки периферийных устройств, таких как графический или сетевой адаптеры. Совсем недавно PCIe объединился с SSD, способным передавать данные быстрее, чем обычный HDD, особенно с внедрением протокола NVMe.
NVMe - относительно новый протокол, разработанный с нуля для удовлетворения потребностей PCIe, подключенного к SSD накопителям. Протокол использует параллельные пути прохождения данных с низким значением задержки, обеспечивая высокопроизводительную передачу данных.
В тоже время, NVMe — это больше, чем протокол. Это стандарт связи, который определяет множество компонентов, включая интерфейс регистра, набор команд, а также интерфейс управления. Тем не менее, NVMe определяют как протокол хранения, хотя встречаются случаи, когда его относили и к интерфейсу и к форм-фактору.
В последние годы союз PCIe/NVMe стал очень популярным. Рынок хранения сейчас переполнен продуктами SSD, которые вставляются в слоты PCIe и используют NVMe протоколы для переноса данных. И т.к. PCIe поддерживает несколько расширительных слотов, SSD-накопители доступны в различных форм-факторах.
Например, многие производители сейчас предлагают SSD -накопители в форм-факторе М.2, который доступен в различных размерах, таких как 22мм X 30 мм, 22мм X 80мм или 30мм X 42мм. Еще более уникальным форм-фактор М.2 делает его доступность как для интерфейса SATA, так и для интерфейса PCIe. SSD- накопитель на базе PCIe — это фактически PCIE карта, которая вставляется в PCIe слот. SSD- накопитель использует интерфейс PCIe для подключения к компьютеру, а протокол NVMe для выполнения коммуникации и передачи данных.
Тема интерфейсов, форм-факторов и протоколов хранения гораздо более сложная, чем описано. Далее в этой серии статей, эти технологии будут рассмотрены более детально. Но сейчас давайте перейдем к конфигурации хранения.
Конфигурации хранения.
Когда я говорю о конфигурациях хранения, я в первую очередь имею в виду систему хранения с прямым подключением (DAS), сетевое хранилище (NAS) и сеть хранения данных (SAN), облачное хранилище.
Как видно из названия, DAS относится к устройствам хранения, которые подключаются напрямую к компьютеру через один из распространенных интерфейсов, таких как SATA, PCIe, USB или Thunderbolt. DAS является базовой из трех конфигураций и не поддерживает большинство расширенных функций, доступных для других конфигураций. В тоже время, DAS - самая простая конфигурация для внедрения и администрирования и наименее дорогостоящая. Однако, она менее масштабируема, что ограничивает ее использование малыми компаниями, которые обмениваются данными локально.
На сегодняшний день DAS играет все меньшее значение в поддержке современных приложений. Появление гиперконвергентной инфраструктуры (HCI) вдохнуло в нее новую жизнь. Большинство платформ HCI состоят из нескольких серверных узлов, каждый со своим собственным хранилищем. Для создания логичного пула ресурсов, доступных для приложений в среде HCI, хранилище отделяется от всех узлов.
Для многих рабочих нагрузок IT команды более склонны к внедрению NAS-решения (сетевое хранилище), которое развертывается как массив устройств хранения, подключенных через местную локальную сеть (LAN). У решения есть собственные ресурсы обработки и памяти, операционная система и поддерживающее программное обеспечение. В сравнении с DAS решение NAS более масштабируемо, поддерживает расширенные функции, такие как тонкое резервирование и снапшоты. Но это решение гораздо дороже.
Следующее решение SAN (сеть хранения данных) - высокопроизводительное решение для хранения, обычно используемое в крупных, дата-центрах для поддержки рабочих нагрузок предприятия и критически важных приложений. SAN часто работает в выделенной сети, такой как Fibre Channel. Оно наиболее сложное и дорогостоящее среди других решений, но при этом более масштабируемо, устойчиво к отказам, высокопроизводительно, с высокой пропускной способностью и низкими периодами ожидания.
И хотя NAS и SAN явились основой для большинства корпоративных приложений, сейчас многие компании обращаются к облачному хранению. Поставщики облачных услуг предлагают услуги по хранению данных с моделями оплаты по мере использования, помогая избежать повышенных первоначальных расходов.
Облачные платформы высоко масштабируемы, легко управляемы, включают внутреннюю избыточность, но и более дорогостоящие. Они не предоставляют тот уровень контроля, который вы получаете с локальным хранилищем.
Для решения вопроса контроля, многие компании обращаются к гибридному хранению, когда некоторые данные хранятся локально, другие же в облаке, предоставляя нужный уровень безопасности, конфиденциальности и соответствия. Эффективное гибридное решение также содержит механизмы для беспроблемного управления и перемещения данных между платформами.
Типы хранилищ.
Большинство хранилищ подразделяется на три категории: файл, блок, объект. Файловое хранилище является наиболее базовым среди трех. Этот тип хранения используется, когда Вы сидите за компьютером, открываете файлы, сохраняете новые файлы на диск или случайно удаляете их. Файлы хранятся в иерархическом порядке. Каждый файл маркируется ограниченным количество данных такими как имя, размер файла, дата изменения.
Файловое хранилище простое в работе и хорошо понятно для большинства пользователей компьютерами, вот почему в основном используются в решениях хранения DAS и NAS. К сожалению, файловое хранилище может стать довольно громоздким из-за роста числа файлов, усложняя масштабирование ресурсов данных или поиск необходимых файлов.
Блочное хранилище решает эти проблемы, разделяя данные на блоки и храня их как отдельные части без каких-либо метаданных, кроме уникального идентификатора. Управляющее приложение в блочном хранилище служит для определения организации и извлечения блоков, сохраняя структуру данных как можно более простой.
Блочное хранилище существует в виде формата выбора в системе хранения SAN. Из-за отсутствия метдананных, блочному хранилищу сопутствуют небольшие расходы, что приводит к более быстрому извлечению данных и более эффективному их хранению. Блочное хранилище хорошо подходит для реляционных баз данных, инфраструктур виртуальных ПК, почтовых серверов, а также для внедрения массивов RAID. С другой стороны, оно несет в себе ряд недостатков, таких как ограниченная масштабируемость, повышенная сложность, а также высокая стоимость.
Хранилище объектов было разработано для решения проблемы растущих барьеров неструктурированных данных, приходящими с новыми интернет-технологиями: от социальных сетей до аналитики Больших данных и технологии "Интернет вещей". В этом типе хранения данные разбиваются на автономные модульные блоки, которые включают идентификаторы и настраиваемые метаданные.
У объектного хранилища есть исходные точки в облаке. Так как оно быстрое, гибкое, предоставляет настраиваемые метаданные, то хорошо подходит для больших объемов неструктурированных данных, продвинутой аналитики и веб-приложений, а также для резервного копирования и архивирования. Но объектное хранилище не отличается высокой производительностью, и даже операции чтения могут осуществляться с задержкой. Плюс, все эти метаданные могут привести к еще большему потреблению ресурсов, уменьшая производительность.
Новая эпоха в хранении данных.
Конечно, существует множество факторов, которые следует учитывать при планировании типа хранилища для рабочих нагрузок вашего приложения. В следующих статьях мы рассмотрим эти вопросы и другие аспекты хранения, чтобы Вы обладали полной картиной современного хранения.
Нужно иметь в виду, что индустрия хранения очень динамична: из-за постоянно растущего числа данных каждый день появляются новшества в технологиях хранения. Сейчас как никогда разработчикам, администраторам и каждому, кто работает с данными необходимо понимание технологий хранения и инноваций и их способности в поддержании интенсивных рабочих нагрузки сегодня и в ближайшем будущем.