Storage spaces direct что это

использование дисковые пространства Direct в кластерах гостевых виртуальных машин

применимо к: Windows server 2022, Windows server 2019, Windows Server 2016, versions 21H2 и 20H2

вы можете развернуть дисковые пространства прямо в кластере физических серверов или гостевых кластерах виртуальных машин, как описано в этом разделе. Этот тип развертывания обеспечивает виртуальное общее хранилище на множестве виртуальных машин на основе частного или общедоступного облака. Это позволяет использовать решения для обеспечения высокого уровня доступности приложений.

Чтобы вместо этого использовать общие диски Azure для гостевых виртуальных машин, см. статью Общие диски Azure.

Развертывание в гостевых кластерах виртуальных машин IaaS Azure

шаблоны Azure были опубликованы для снижения сложности, настройки рекомендаций и ускорения дисковые пространства прямых развертываний на виртуальной машине Azure Iaas. Это рекомендуемое решение для развертывания в Azure.

Требования к гостевым кластерам

при развертывании дисковые пространства Direct в виртуализованной среде следует учитывать следующие моменты.

При развертывании на виртуальных машинах Azure IaaS в шаблонах Azure автоматически настраиваются следующие аспекты. это рекомендуемое решение.

Минимум два узла и максимум три узла

При развертывании с двумя узлами необходимо настроить следящий сервер (облако-свидетель или файловый ресурс-свидетель)

Развертывание с тремя узлами может допускать один узел и потери одного или нескольких дисков на другом узле. При завершении работы двух узлов виртуальные диски будут находиться в автономном режиме до тех пор, пока один из узлов не вернет значение.

Настройка виртуальных машин для развертывания в доменах сбоя

Azure — Настройка группы доступности

Hyper-V — Настройка AntiAffinityClassNames на виртуальных машинах для разделения виртуальных машин между узлами

использование хранилища с низкой задержкой или высокой производительностью. требуются управляемые диски Azure Premium служба хранилища

Развертывание плоской структуры хранилища без настроенных устройств кэширования

Используйте как минимум два виртуальных диска данных, представленных для каждой виртуальной машины (VHD/VHDX/VMDK).

Это число отличается от развертывания на компьютере без операционной системы, так как виртуальные диски могут быть реализованы как файлы, не подверженные физическим сбоям.

отключите функции автоматического замены дисков в служба работоспособности, выполнив следующий командлет PowerShell:

чтобы обеспечить повышенную устойчивость к возможным задержкам хранилища VHD/VHDX/VMDK в гостевых кластерах, увеличьте значение времени ожидания ввода-вывода дисковые пространства.

Десятичный эквивалент шестнадцатеричного 7530 равен 30000, что составляет 30 секунд. Значение по умолчанию — 1770 шестнадцатеричное число, 6000 — 6 секунд.

Не поддерживается

Моментальный снимок или восстановление виртуального диска на уровне узла

вместо этого используйте традиционные решения резервного копирования на гостевом уровне для резервного копирования и восстановления данных на дисковые пространства Direct volumes.

Изменение размера виртуального диска на уровне узла

Виртуальные диски, предоставляемые через виртуальную машину, должны иметь одинаковый размер и характеристики. Добавление дополнительных ресурсов в пул носителей можно выполнить, добавив дополнительные виртуальные диски на каждую из виртуальных машин, а затем добавив их в пул. Настоятельно рекомендуется использовать виртуальные диски того же размера и характеристик, что и текущие виртуальные диски.

Источник

Облако на Microsoft Hyper-V, часть 3: хранилище Storage Spaces

Продолжаем серию статей о виртуальной инфраструктуре на Microsoft Hyper-V.
Сегодня расскажем, как устроено хранилище на базе Storage Spaces и с какими сложностями мы столкнулись при его построении.

Архитектура хранилища

Самой сложной задачей при создании облака Cloud-V оказалось создание быстрого программно-определяемой СХД на базе Microsoft Storage Spaces.

В основе хранилища — кластер на базе двух серверов Dell PowerEdge 730 с подключенным к ним дисковым массивом Dell PowerVault 3060e.

Архитектура Storage Spaces.

Вместо традиционной сети хранения SAN мы построили конвергентную локальную сеть с пропускной способностью 40 Гбит. В кластере развернули роль Scale-out-file server с поддержкой компонентов SMB Direct и SMB Multichannel.

SMB Multichannel позволяет балансировать подключения узлов вычислительного кластера к ресурсам хранилища при наличии нескольких сетевых адаптеров на сервере. Мы использовали сетевые адаптеры Mellanox ConnectX-3 Pro 40GbE, поддерживающие функцию ROCE (RDMA over Converged Ethernet).

Компонент SMB Direct использует ROCE для прямого доступа к памяти удаленного сервера, что снижает сетевые задержки. Приложения с одного узла обращаются непосредственно к памяти приложений на другом узле, минуя сетевой стэк операционной системы. В результате существенно ускоряется передача данных между узлами.

Взаимодействие приложения и дискового хранилища: без RDMA (слева) и с RDMA (справа).

Высокая производительность программно-определяемой СХД Storage Spaces достигается за счет использования разного типа дисков (SATA, SAS, SSD). Фактически у нас получилось многоуровневое хранилище, данные в котором распределяются по разным типам дисков в зависимости от интенсивности использования. Storage Spaces фильтрует данные и отправляет редко используемые на нижний уровень (HDD), а “горячие” данные – на быстрые SSD-диски на верхнем уровне. Такой тип хранилища позволяет более эффективно использовать ресурсы.

Запись и фильтрация данных в многоуровневом хранилище.

Проблема производительности хранилища на Storage Spaces

Чтобы получить такое умное хранилище и заставить его работать, нам пришлось повоевать. Проблема, с которой мы столкнулись, – низкая скорость обработки данных. Показатели записи SSD-дисков не превышали 100 Мбит/сек, что в 10 раз ниже необходимых для нормальной производительности. Проблема появилась сразу же при развертывании ВМ из шаблона: одна ВМ размером 10 Гб разворачивалась 30–40 минут, развертывание двух ВМ занимало порядка двух часов.

Подозрение пало на прошивку дисков: дефолтная не поддерживала одновременный доступ с разных нод кластера. После обновления прошивки развертывание нескольких ВМ перестало приводить к такому сильному падению производительности. Однако все происходило по-прежнему долго.

Мы продолжили искать проблему на самом нижнем уровне архитектуры и стали анализировать процесс обмена данными драйвера ОС с диском, а именно: чтение и запись секторов на диск. Существует два определения сектора: логический и физический. Логическим сектором оперирует драйвер операционной системы, физическим – непосредственно контроллер жесткого диска. В данное время жесткие диски делятся на три типа по соотношению размера логический/физический сектор:

В итоге получалась следующая картина:

Схема взаимодействия. Физический сектор учитывается только на уровне контроллера жесткого диска.

Сложилась ситуация, в которой у вышележащего диска логический сектор меньше, чем у нижележащего. Это привело к выполнению политики Read-Modify-Write: чтение сектора 4К в кэш, правка необходимых 512 байт, запись 4К обратно на диск. Как следствие, к катастрофическому падению производительности дисковой подсистемы во время записи в 8 раз.

Процесс записи 512-байтного сектора на носитель с 4096-байтным сектором.

Мы нашли два пути решения проблемы:

Что впереди: Storage Spaces Direct

В рамках Windows Server 2016 вышла обновленная версия Storage Spaces – Storage Spaces Direct. Как обещает вендор, в новом решении устранены проблемы текущей реализации программно-определяемой СХД и есть новые возможности:

Источник

Storage Spaces Direct overview

Applies to: Windows Server 2022, Windows Server 2019, Windows Server 2016

Storage Spaces Direct uses industry-standard servers with local-attached drives to create highly available, highly scalable software-defined storage at a fraction of the cost of traditional SAN or NAS arrays. Its converged or hyper-converged architecture radically simplifies procurement and deployment, while features such as caching, storage tiers, and erasure coding, together with the latest hardware innovations such as RDMA networking and NVMe drives, deliver unrivaled efficiency and performance.

Storage Spaces Direct is included in Windows Server 2019 Datacenter, Windows Server 2016 Datacenter, and Windows Server Insider Preview Builds. It also provides the software-defined storage layer for Azure Stack HCI.

For other applications of Storage Spaces, such as shared SAS clusters and stand-alone servers, see Storage Spaces overview. If you’re looking for info about using Storage Spaces on a Windows 10 PC, see Storage Spaces in Windows 10.

Videos

Quick Video Overview (5 minutes)

Storage Spaces Direct at Microsoft Ignite 2018 (1 hour)

Storage Spaces Direct at Microsoft Ignite 2017 (1 hour)

Launch Event at Microsoft Ignite 2016 (1 hour)

Key benefits

Deployment options

Storage Spaces Direct was designed for two distinct deployment options: converged and hyper-converged.

Azure Stack HCI 20H2 supports only hyper-converged deployment, while Azure Stack HCI 2019 supports both converged and hyper-converged deployment.

Converged

Storage and compute in separate clusters. The converged deployment option, also known as ‘disaggregated’, layers a Scale-out File Server (SoFS) atop Storage Spaces Direct to provide network-attached storage over SMB3 file shares. This allows for scaling compute/workload independently from the storage cluster, essential for larger-scale deployments such as Hyper-V IaaS (Infrastructure as a Service) for service providers and enterprises.

Hyper-Converged

One cluster for compute and storage. The hyper-converged deployment option runs Hyper-V virtual machines or SQL Server databases directly on the servers providing the storage, storing their files on the local volumes. This eliminates the need to configure file server access and permissions, and reduces hardware costs for small-to-medium business or remote office/branch office deployments. See Deploy Storage Spaces Direct.

How it works

Storage Spaces Direct is the evolution of Storage Spaces, first introduced in Windows Server 2012. It leverages many of the features you know today in Windows Server, such as Failover Clustering, the Cluster Shared Volume (CSV) file system, Server Message Block (SMB) 3, and of course Storage Spaces. It also introduces new technology, most notably the Software Storage Bus.

Here’s an overview of the Storage Spaces Direct stack:

Networking Hardware. Storage Spaces Direct uses SMB3, including SMB Direct and SMB Multichannel, over Ethernet to communicate between servers. We strongly recommend 10+ GbE with remote-direct memory access (RDMA), either iWARP or RoCE.

Storage Hardware. From 2 to 16 servers with local-attached SATA, SAS, or NVMe drives. Each server must have at least 2 solid-state drives, and at least 4 additional drives. The SATA and SAS devices should be behind a host-bus adapter (HBA) and SAS expander. We strongly recommend the meticulously engineered and extensively validated platforms from our partners (coming soon).

Failover Clustering. The built-in clustering feature of Windows Server is used to connect the servers.

Software Storage Bus. The Software Storage Bus is new in Storage Spaces Direct. It spans the cluster and establishes a software-defined storage fabric whereby all the servers can see all of each other’s local drives. You can think of it as replacing costly and restrictive Fibre Channel or Shared SAS cabling.

Storage Bus Layer Cache. The Software Storage Bus dynamically binds the fastest drives present (e.g. SSD) to slower drives (e.g. HDDs) to provide server-side read/write caching that accelerates IO and boosts throughput.

Storage Pool. The collection of drives that form the basis of Storage Spaces is called the storage pool. It is automatically created, and all eligible drives are automatically discovered and added to it. We strongly recommend you use one pool per cluster, with the default settings. Read our Deep Dive into the Storage Pool to learn more.

Storage Spaces. Storage Spaces provides fault tolerance to virtual «disks» using mirroring, erasure coding, or both. You can think of it as distributed, software-defined RAID using the drives in the pool. In Storage Spaces Direct, these virtual disks typically have resiliency to two simultaneous drive or server failures (e.g. 3-way mirroring, with each data copy in a different server) though chassis and rack fault tolerance is also available.

Cluster Shared Volumes. The CSV file system unifies all the ReFS volumes into a single namespace accessible through any server, so that to each server, every volume looks and acts like it’s mounted locally.

Scale-Out File Server. This final layer is necessary in converged deployments only. It provides remote file access using the SMB3 access protocol to clients, such as another cluster running Hyper-V, over the network, effectively turning Storage Spaces Direct into network-attached storage (NAS).

Customer stories

There are over 10,000 clusters worldwide running Storage Spaces Direct. Organizations of all sizes, from small businesses deploying just two nodes, to large enterprises and governments deploying hundreds of nodes, depend on Storage Spaces Direct for their critical applications and infrastructure.

Visit Microsoft.com/HCI to read their stories:

Management tools

The following tools can be used to manage and/or monitor Storage Spaces Direct:

Get started

Try Storage Spaces Direct in Microsoft Azure, or download a 180-day-licensed evaluation copy of Windows Server from Windows Server Evaluations.

Источник

Обзор локальных дисковых пространств

Видеоролики

Краткий обзор видео (5 минут)

дисковые пространства Direct в Microsoft Ignite 2018 (1 час)

дисковые пространства Direct в Microsoft Ignite 2017 (1 час)

Событие запуска в Microsoft Ignite 2016 (1 час)

Основные преимущества

Параметры развертывания

дисковые пространства Direct была разработана для двух различных вариантов развертывания: конвергенции и технологии hyper-in.

Azure Stack ХЦИ 20H2 поддерживает только развертывание с поддержкой Hyper-in, а Azure Stack ХЦИ 2019 поддерживает развертывание с согласованием и с технологией Hyper-.

Схождение выполнено

хранение и вычисление в отдельных кластерах. При конвергентном развертывании, также известном как дезагрегированное, масштабируемый файловый сервер (SoFS) размещается поверх локальных дисковых пространств для предоставления подключенного к сети хранилища посредством общих папок SMB3. Это позволяет масштабировать вычислительные ресурсы и рабочие нагрузки независимо от кластера хранилища, особенно в масштабных развертываниях, например Hyper-V IaaS (инфраструктура как услуга), для поставщиков услуг и крупных предприятий.

Гиперконвергентные

Один кластер для вычислений и хранения данных. При гиперконвергентном развертывании виртуальные машины Hyper-V или базы данных SQL Server работают непосредственно на серверах, предоставляющих хранилище, и сохраняют файлы в локальных томах. Это устраняет необходимость в настройке доступа к файловым серверам и разрешений. Кроме того, снижается стоимость оборудования при развертывании на малых и средних предприятиях, а также в удаленных офисах и филиалах. см. статью развертывание дисковые пространства Direct.

Принцип работы

Локальные дисковые пространства являются развитием дисковых пространств, впервые представленных в Windows Server 2012. В них используется множество существующих возможностей Windows Server, таких как отказоустойчивая кластеризация, файловая система CSV, протокол SMB3 и, конечно, дисковые пространства. В них также были реализованы новые технологии, в первую очередь шина Software Storage Bus.

Ниже представлен обзор стека локальных дисковых пространств.

Оборудование для сетевого взаимодействия. Для обмена данными между серверами локальные дисковые пространства используют протокол SMB3, включая SMB Direct и SMB Multichannel, работающий через Ethernet. Мы настоятельно рекомендуем использовать Ethernet со скоростью передачи данных более 10 Гбит/с и удаленным доступом к памяти (RDMA) — iWARP или RoCE.

Оборудование хранилища. От 2 до 16 серверов с локально подключенными дисками SATA, SAS или NVMe. Каждый сервер должен иметь по крайней мере 2 твердотельных накопителя и 4 дополнительных диска. Устройства SATA и SAS должны располагаться за адаптером шины (HBA) и расширителем SAS. Мы настоятельно рекомендуем использовать тщательно спроектированные и протестированные платформы от наших партнеров (ожидаются в ближайшее время).

Отказоустойчивая кластеризация. Встроенная функция кластеризации Windows Server используется для подключения серверов.

Шина Software Storage Bus. Шина Software Storage Bus — это новая технология, представленная в локальных дисковых пространствах. Она охватывает весь кластер и создает программно-определяемую структуру хранения, в которой каждый сервер имеет доступ к локальным дискам любого другого сервера. Это можно рассматривать как замену дорогостоящим и ограниченным в своих возможностях подключениям Fibre Channel или Shared SAS.

Кэш уровня шины хранилища. Шина Software Storage Bus динамически связывает самые быстрые диски (например, SSD) с более медленными дисками (например, жесткими дисками) для обеспечения кэширования при чтении и записи на стороне сервера с целью ускорить ввод-вывод и повысить пропускную способность.

Пул носителей. Набор дисков, которые образуют основу для дисковых пространств, называется пулом носителей. Он создается автоматически, и все подходящие диски обнаруживаются и добавляются в него также автоматически. Мы настоятельно рекомендуем использовать один пул носителей в каждом кластере с параметрами по умолчанию. Прочитайте раздел Глубокое погружение в пул носителей, чтобы узнать больше.

Дисковые пространства. дисковые пространства обеспечивает отказоустойчивость виртуальных дисков с помощью зеркального отображения, очистки кодирования или и того и другого. Их можно представить как распределенный программно-определяемый массив RAID на основе дисков в пуле. В локальных дисковых пространствах виртуальные диски обычно устойчивы к одновременному сбою двух дисков или серверов (то есть применяется трехстороннее зеркалирование, при котором каждая копия данных размещается на отдельном сервере), хотя также доступна отказоустойчивость на уровне шасси или стоек.

Resilient File System (ReFS). ReFS — это файловая система с превосходными возможностями, предназначенная специально для виртуализации. Она позволяет существенно ускорить операции с файлами VHDX, такие как создание, расширение и объединение контрольных точек, а также имеет встроенные средства проверки контрольной суммы для обнаружения и исправления ошибок на уровне отдельных битов. В ней также реализовано переключение уровней в режиме реального времени, позволяющее переносить данные между «активными» и «пассивными» уровнями хранения в режиме реального времени в соответствии с интенсивностью использования.

Общие тома кластера. Файловая система CSV объединяет все тома ReFS в единое пространство имен, доступное с любого сервера, так что для каждого сервера все тома представляются как локально подключенные.

Масштабируемый файловый сервер. Этот последний уровень необходим только в конвергентных развертываниях. Он обеспечивает удаленный доступ к файлам со стороны клиентов, например другого кластера Hyper-V, через сеть по протоколу SMB3. Таким образом локальные дисковые пространства по сути превращаются в подключенное к сети хранилище (NAS).

Истории клиентов

существует более 10 000 кластеров по всему миру, работающих дисковые пространства Direct. организации всех размеров, от малых предприятий, развертывающих всего два узла, до крупных предприятий и правительственных учреждений, развертывающих сотни узлов, зависят от дисковые пространства прямо для критически важных приложений и инфраструктуры.

Средства управления

для управления и (или) мониторинга дисковые пространства Direct можно использовать следующие средства:

Начало работы

Попробуйте локальные дисковые пространства в Microsoft Azure или скачайте ознакомительную версию Windows Server с лицензией на 180 дней.

Дополнительные ссылки

Область применения: Windows Server 2022, Windows Server 2019, Windows Server 2016

Локальные дисковые пространства используют стандартные серверы с локально подключенными дисками для создания программно-определяемого хранилища с высоким уровнем доступности и масштабируемости, причем стоимость такого хранилища значительно ниже стоимости традиционных массивов SAN или NAS. Ее конвергенция или архитектура с поддержкой технологии Hyper-in значительно упрощает закупку и развертывание, в то время как такие функции, как кэширование, уровни хранилища и очисткиное кодирование, а также новейшие нововведения оборудования, такие как сетевые подключения RDMA и накопители NVMe, обеспечивают непревзойденную эффективность и производительность.

дисковые пространства Direct входит в Windows Server 2019 datacenter, Windows Server 2016 datacenter и предварительные сборки Windows server Insiderpreview. Он также предоставляет программный уровень хранилища для Azure Stack хЦи.

другие приложения дисковые пространства, такие как общие кластеры SAS и автономные серверы, см. в разделе общие сведения о дисковые пространства. если вам нужны сведения об использовании дисковые пространства на Windows 10 компьютере, см. раздел дисковые пространства в Windows 10.

Источник