Тестирование «настоящих» аппаратных RAID-контроллеров является очень непростым занятием. Основных причин тому несколько. Первая – сложность сбора тестового стенда соответствующего уровня. Если делать все «правильно», то потребуется много жестких дисков, соответствующий корпус и достаточно мощная серверная платформа, в некоторых случаях – еще и быстрая сеть и клиенты. Вторая проблема заключается в том, что в большинстве случаев подбор конфигурации СХД – задача под конкретного заказчика и конкретные приложения. При этом вариантов существует слишком много, что бы можно было за разумное время охватить их все. Третий вопрос касается выбора тестовых приложений и сценариев. На практике потребителя интересуют именно его задачи с определенной нагрузкой, тогда как в лаборатории в данном случае обычно удобнее использовать синтетику.

Тем не менее, когда появилась возможность в некотором приближении разобраться с первой проблемой, захотелось вернуться к этому вопросу и попробовать провести для начала несколько тестов. Безусловно, выбранные конфигурации и бенчмарки, вызовут множество вопросов у читателей, особенно если они являются профессионалами в данной области. Но просьба отнестись к этому материалу как попытке возрождения обсуждения темы и в комментариях предложить идеи (желательно конструктивные), как, что и почему было бы интересно исследовать в рамках данного направления. Двигаться есть куда, но направлений слишком много и выбрать интересные можно только с вашей помощью.

Напомним, как и для чего используются RAID-массивы и контроллеры на традиционных винчестерах. Ключевых причин три. Первая – необходимость создания дисковых томов большого объема. Одиночные диски сейчас есть на 12 ТБ, так что если нужно больше – придется использовать несколько дисков. Вторая – требование высокой скорости чтения и записи. Один винчестер способен показать максимально около 200 МБ/с, так что если нужно больше – тоже требуется подключить несколько дисков и обеспечить возможность одновременной работы с ними. Третий момент, непосредственно связанный с первыми двумя, – реализация отказоустойчивого массива. Обратите внимание, что речь идет исключительно о сохранении данных при выходе из строя диска (или дисков), что конечно связано с общим понятием «надежность хранения», но не заменяет такой операции, как создание резервных копий. Именно последняя позволяет обеспечить восстановление в случае таких неприятностей, как удаление или изменение файлов.

Данное тестирование проводилось на сервере с платформой Supermicro X8SIL, процессором Intel Xeon X3430 и 8 ГБ оперативной памяти. Ему уже около десяти лет и конечно он как минимум морально устарел. Но, пожалуй, единственной серьезной претензией здесь может быть отсутствие поддержки PCIe 3.0. С другой стороны, 8 линий PCIe 2.0 – это тоже неплохо для массива из нескольких жестких дисков.

В тестировании принимали участие контроллеры Adaptec 6, 7 и 8-го поколений. К ним одним кабелем на четыре линии SAS подключался бекплейн поколения SAS1 с экспандером. Собственно за хранение данных отвечали восемь винчестеров Seagate Enterprise Capacity 3.5 HDD v4, модель ST6000NM0024 (6 ТБ, 7200 RPM, буфер 128 МБ, SATA, 512e).

Конфигурация массива – RAID6, размер блока 256 КБ. Все кэши для тома на контроллерах включены, остальные параметры по умолчанию, все контроллеры использовали батареи для резервного питания. Напомним, что для данных поколений адаптеров Adaptec можно переносить массивы без потери конфигурации и данных (причем не только «вверх», но и «вниз»), что, безусловно, очень удобно.

Для операционной системы в сервере был выбран Debian 9. Как обычно, со всеми обновлениями на момент проведения тестирования. Драйвера для контроллеров из состава дистрибутива, BIOS обновлены, для удобства управления установлен последний MaxView Storage Manager.

Тесты проводились на «сыром» томе, что еще больше уводит нас в сторону синтетики, однако позволяет более точно оценить возможности аппаратной конфигурации. В реальности же приложения и пользователи обычно работают с файлами, которые размещены на какой-то файловой системе, а доступ к ним может осуществляться не только локально, но и по сети с использованием определенных протоколов. И конечно все это заслуживает отдельного изучения.

В роли тестового пакета выступала утилита fio, в некоторой степени аналогичная известному пакету iometer. В отличие от него, она корректно работает в современных Linux и позволяет оценить сразу несколько параметров.

Файлы конфигурации утилиты имели следующий вид:

blocksize=256k | 4k
filename=/dev/sda
rw=read | write | randread | randwrite
direct=1
ioengine=libaio
iodepth=1 | 2 | 4 | 8 | 16 | 32 | 64
runtime=180

Где «|» подразумевает выбор одного из значений. Таким образом, исследовались операции последовательного чтения и записи с блоками размером 256 КБ и случайного чтения и записи с блоками по 4 КБ. Все тесты прогонялись с глубиной очереди от 1 до 64 и каждый занимал три минуты. По результатам смотрим на скорости в МБ/с, IOPS и задержки (clat avg в мс). При повторении обязательно перепроверьте имя устройства (filename=/dev/sda). Неверное указание этого параметра на тестах записи может привести к потере данных.

Как мы видим, опций у теста много. Кроме того, можно запустить и одновременно несколько операций. Так что все сочетания проверить просто невозможно и при выборе параметров стоит ориентироваться на характерные для требуемого варианта использования схемы. Ну и не будем забывать, что при особом старании (или везении) можно «положить» любую систему

Учитывая, что в массиве только восемь дисков, скорее всего, некоторые из характеристик будут ограничиваться именно возможностями диска, а не использованного контроллера. Последние, напомним, отличаются производительностью процессора, объемом памяти и некоторыми другими характеристиками.

Сначала стоит сделать замечание об использованном формате диаграмм. На каждом графике приводятся сразу два показателя – производительности и средней задержки в зависимости от параметра iodepth теста. При этом для последовательных операций мы выбрали более привычный показатель в мегабайтах в секунду, а для случайных – iops. В данном конкретном случае с фиксированным размером блока они прямо пропорциональны и равноценны с точки зрения оценки результата.

Начнем с наименее быстрого контроллера Adaptec ASR-6805, который появился на рынке более семи лет назад. Интересно, что, несмотря на его возраст, данная линейка все еще востребована потребителями, как бы странно это не звучало.

Кстати, заодно опишем схему именований – первая цифра показывает поколение, вторая (точнее одна или две – встречается и вариант 16) – число внутренних физических портов (объединенных по четыре в разъёмы SAS различных форматов), третья – число внешних портов, пятая указывает на тип шины (5 – это PCI Express). Дополнительно могут присутствовать суффиксы, указывающие на тип разъемов, сокращенный объем кэшпамяти, наличие дополнительных функций.

Итак, последовательные операции.

На чтении с нашего массива контроллер может обеспечить до 900 МБ/с. Судя по близости последней пары показателей и резкому росту задержек в последней точке, дальнейшего увеличения скорости можно не ждать. Очевидно, что при повышении глубины очереди будут только повышаться задержки, при этом общая скорость останется на указанном уровне.

На операциях записи картина немного иная – максимальное значение в 500 МБ/с достигается сразу на минимальной нагрузке. В дальнейшем мы видим только рост задержек при увеличении глубины очереди.

Таким образом, поставив целью допустимое время отклика массива, вы можете оценить возможную нагрузку по максимальному числу обращений.

Безусловно, если задача требует исключительно случайных операций доступа к данным, то сразу на ум приходит использование SSD, обеспечивающих просто совершенно другой уровень производительности. И проводимые на массиве тесты этого сценария являются в скорее иллюстрацией «самой плохой ситуации», чем отражением реального положения дел на практических задачах.

На чтении массив не вносит никаких «скрытых» расходов и мы видим рост IOPS при увеличении глубины очереди с одновременным ростом задержек. С этим контроллером я не проверял следующие значения iodepth, но как будет показано далее, IOPS имеют свой предел, после которого будет только расти время отклика с сохранением общей скорости. На график записи лучше не смотреть. Все очень и очень грустно. Накладные расходы RAID6 на операциях записи часто оцениваются как число дисков*IOPS одного диска/6. То есть на одну операцию записи контроллеру требуется по факту провести шесть операций (не считая математических расчетов) – чтение исходного блока, чтение двух блоков четности, пересчет, запись трех измененных блоков.

При случайной записи при любой глубине очереди производительность ограничена на уровне 300 IOPS (примерно 1 МБ/с) и сделать здесь почти ничего нельзя. К счастью, в реальной жизни ситуация необходимости 100% случайного доступа к десяткам терабайт данных случается редко, а кроме того, на помощь приходит кэш операционной системы.

Итак, для ASR-6805 на наших шаблонах мы получили – последовательное чтение и запись на уровне 900 и 500 МБ/с соответственно, случайное чтение и запись – примерно 1000 и 300 IOPS.

Переходим к следующему участнику. Модели ASR-7805 около четырех лет. Ключевые отличия этого поколения от прошлого – увеличение производительности процессора, в два раза больше объем кэшпамяти, шина PCIe 3.0, поддержка режима HBA, работа с ленточными библиотеками.

В целом, зависимость производительности от нагрузки сохраняется, но есть и некоторые отличия. На последовательном чтении можно получить более 900 МБ/с, но только при относительно небольшой глубине очереди, тогда как значения для последних строк существенно ниже. Аналогичная ситуация и с последовательной записью – если нагрузка невелика, то скорость близка к 700 МБ/с, но при росте глубины очереди она падает до 630 МБ/с.

На случайном чтении мы видим те же 1000 IOPS, а вот с записью данный контроллер справляется лучше – он способен обеспечить почти 400 IOPS.

Дополнительно с этим контроллером я протестировал случайное чтение с существенным увеличением глубины очереди.

Как и говорилось выше, на этом шаблоне можно получить и более высокие значения производительности, но цена (рост задержек) все-таки слишком высока. Итого для этой модели максимальные показатели составили – 960 и 680 МБ/с на последовательном чтении и записи, 1100 и 400 IOPS на случайном чтении и записи.

Последняя протестированная модель контроллера – ASR-81605ZQ. В данном материале ее дополнительные возможности (в частности, MaxCache) не использовались, так что результаты будут применимы и к «обычному» представителю серии. Эта линейка является последней актуальной из традиционных продуктов со стеком Adaptec. Более новые решения серии SmartRAID – это уже совершенно другая история. В восьмой серии появилась поддержка 12 Гбит/с SAS, накопителей с секторами 4kn, UEFI BIOS. Все это для данного теста не актуально.

На операциях случайного чтения все упирается в диски и мы снова видим те же 1100 IOPS в сочетании с 60 мс откликом. Да и запись тоже мало отличается от прошлой модели – около 400 IOPS.

По итогам тестирования можно сделать несколько выводов. Прежде всего, напомним, что касаются они исключительно протестированной конфигурации дискового массива. Во-первых, 6-я серия все еще может быть интересна для реальной работы. Во-вторых, более современные поколения хотя и показывают результаты выше, говорить о каком-то существенном их превосходстве пожалуй не стоит. Особенно это заметно на сравнении серий 7 и 8. Так что если в вашем сервере или СХД применяются массивы из относительно небольшого количества SATA винчестеров, можно обеспечить их эффективное (насколько это возможно) использование на любом из данных контроллеров. Но если встают вопросы производительности на случайных операциях в сочетании с томом большого объема, то к ним нужно подходить более внимательно. Привычный RAID6 на базе жестких дисков не способен здесь показать высокие результаты даже на современных аппаратных контроллерах. Да и случайное чтение тоже является непростой задачей для такой конфигурации.

Ранее публиковал первую часть, в которой описывались общие сведения о RAID контроллерах (), были вопросы и интерес, выкладываю уже «мясной» кусок. Здесь всё очень конкретно – подробная классификация контроллеров Adaptec, функции каждой серии контроллеров, таблицы, картинки и т.д.

Модельный ряд RAID контроллеров Adaptec.

Классификация контроллеров Adaptec.

Можно попробовать представить усиление функций стека относительно класса проектов в этой таблице графически, чтобы придать таблице наглядность.

Таблица применения моделей с точки зрения поддержки SSD дисков.


Еще более мощную поддержку использования большого количества SSD дисков на контроллере будут давать следующие поколения RAID контроллеров и HBA. Количество дисков, указанное в таблице, имеет примерное значение. Более точные расчеты производительности в данной статье не указываются, они могут быть выполнены компаниями – интеграторами.

Сервер Тринити - надежное вложение

• Оперативная сборка и высокая доступность необходимых комплектующих. Тринити располагает 2 производственными площадками мощностью до 15 000 серверов в год (ОЕМ: Supermicro, Intel)
• Высокое качество сборки - менее 2% гарантийных случаев.
• Обязательное тестирование : все аппаратные и программные компоненты; создание массивов; установка операционных систем (Windows, Linux); проверка оборудования под высокой нагрузкой.
• Гарантия от 3 лет с сервисным обслуживанием в 42 городах России и СНГ.
• Поставка по всей России и СНГ . Возможен самовывоз.

Собери свой сервер! Конфигуратор серверов Тринити.

Зависимость выбора модели RAID контроллера от количества пользователей серверной системы приведена в таблице ниже (указаны активные пользователи). Цифры носят довольно приблизительный характер, и приведены для того, чтобы понять тенденцию в использовании определенных моделей.

И еще один важный момент. Как настоятельно рекомендуют все учебники, посвященные проектированию сложных систем - проект должен учитывать не только настоящие, но будущие требования к системе.

Существует зависимость и от приложений. Например, SSD кэширование ускоряет работу приложений, ориентированных на чтение. К счастью, это больше 90% Internet приложений. Для операций записи тоже возможно кэширование, но это уже больше как “приятное дополнение” к чтению из-за природы самих приложений.




Рассмотрим теперь модели контроллеров более детально.

6-ая серия RAID контроллеров Adaptec.

Общие характеристики контроллеров 6-ой серии:
Базируются на микросхеме RoC (RAID on Chip) PM8013 8x портов SAS2 (6Гб/сек) PMC-Sierra (дополнительную информацию можно посмотреть на сайте www.pmcs.com;
Модели с максимальным количеством портов – 8 портов SAS 2.0 (6Гб/сек), и слотом 8x PCI-express Gen 2.0;
Кэш память - 512MB DDR2-667 DRAM.
Опционально могут использовать Набор защиты кэша Adaptec Flash Module (AFM-600 Kit) в который входят:

Adaptec RAID 6805 с AFM-600 Flash Module.

Контроллеры 6 серии на уровне стека поддерживают:
Simple Volume, JBOD, RAID 0, 1, 10, 1E, 5, 6, 50, 60 Hybrid RAID 1, 10.
Максимальная производительность ядра контроллера 50 000 IOPS (4 KB blocks, random read).
Производительность для последовательных шаблонов в таблице ниже.

Семейство 6T.
Основная цель появления таких контроллеров семейства 6T - исключить ситуации, когда негибкая часть кабеля (часть, примерно, 2 см длиной после разъема) упирается в крышку или корпус сервера, в радиатор процессора или другие части сервера. Для этого на 6-ой серии контроллеров порты расположены так, чтобы негибкая часть кабеля не выходила за геометрические границы контроллера. Помечено зеленой стрелкой на рисунке. Синий прямоугольник – негибкая часть кабеля.

Adaptec RAID 6805Т с AFM-600 Flash Module.

Семейство 6E

RAID контроллеры для проектов начального класса. Уменьшена оперативная память, по сравнению с обычными контроллерами 6-ой серии, упрощен стек, нет поддержки защиты кэша и экспандеров. Имеют упрощенный стек, поддерживают только Simple Volume, JBOD, RAID 0,1, 10, 1E, т.е., нет поддержки RAID 5,5EE,6, 50, 60, но поддерживают Hybrid RAID 1, 10 (см. раздел «Гибридные Тома» в главе «Основные функции RAID контроллеров» ниже.
Модель 6405E поддерживает максимально 4 диска. Модель 6805E – 8 дисков (поскольку нет поддержки SAS экспандеров). Модель 6405E имеет слот PCI-E 1x, модель 6805E – слот PCI-E 4x ver. 2.

Разъемы портов контроллеров 6-ой серии.
Все семейство RAID контроллеров 6-ой серии поддерживает только порты Mini-SAS.
Для внутренних портов используется разъем – SFF 8087 (internal mini-SAS),

для внешних – SFF-8088 (external mini-SAS).

Сводная таблица для контроллеров 6-ой серии.

7-ая серия RAID контроллеров Adaptec.


Adaptec RAID 71605.

Первый контроллер PCIe 3.0 LP MD2 с 16 портами SAS/SATA 6 Гбит/сек.
Первый контроллер PCIe 3.0 половинной длины с 24 портами.
Первое решение, использующее все преимущества шины PCIe 3.0.
Первое решение, обеспечивающее 450 тысяч IOPS и 6600 МБ/сек.
Первое решение, ориентированное на создание томов на базе SSD.
Впервые в полной мере допускается подключение внешних стоек RBOD, ленточных устройств и автозагрузчиков.

Общие характеристики контроллеров 7-ой серии:

Базируются на микросхеме SRCv RoC (RAID on Chip) PM8015 SRCv 24x порта SAS2 (6Гб/сек) PMC-Sierra (дополнительную информацию можно посмотреть на сайте www.pmcs.com);
Модели с максимальным количеством портов – 24 порта SAS 2.0 (6Гб/сек), и слотом 8x PCI-express Gen 3.0;
Кэш память - 1024 MB DDR3-1333 DRAM.

o Дочерняя плата с flash-памятью;
o Выносной блок суперконденсатора.

Контроллеры 7-ой серии на уровне стека поддерживают: Simple Volume, JBOD, RAID 0, 1, 10, 1E, 5, 6, 50, 60, Hybrid RAID 1, 10 и режим HBA.
Начиная с 7-ой серии RAID контроллеры поддерживают режим HBA, т.е. по сути это не совсем RAID контроллер, это RAID контроллер и HBA на одной плате. См. в описании функций продуктов раздел «Режим HBA».
Прекращена поддержка RAID 5EE (причина в том, что производительность RAID6 из-за усиления архитектуры микросхемы RoC сравнялась с RAID5EE, а по всем остальным параметрам – надежность, легкость в обслуживании и т.д., RAID 6 или аналогичен или лучше RAID5EE, что лишает смысла существование RAID 5EE в стеке современного RAID контроллера).

Максимальная производительность ядра контроллера 600 000 IOPS.


Все семейство RAID контроллеров 7-ой серии поддерживает только порты miniSAS-HD.
Для внутренних портов используется разъем – SFF-8643 (internal mini-SAS HD),

для внешних – SFF-8644 (external mini-SAS HD).



Обратите внимание на сбалансированность диапазонов пропускания со стороны SAS и PCI-E на примере 71605 контроллера – единственное в отрасли решение 16 портов SAS2 в низкопрофильном варианте.

Семейство 7E
RAID контроллеры для проектов начального класса. Уменьшена оперативная память, по сравнению с обычными контроллерами 6-ой серии, упрощен стек, нет поддержки защиты кэша. Имеют упрощенный стек, поддерживают только Simple Volume, JBOD, RAID 0,1, 10, 1E, т.е., нет поддержки RAID 5,5EE,6, 50, 60, но поддерживают Hybrid RAID 1, 10 (см. раздел «Гибридные Тома» в главе «Основные функции RAID контроллеров» ниже).
В отличие от 6E семейство 7E поддерживает экспандеры и имеют такой же разъем 8X PCI-E как и контроллеры без индекса «E».

Семейство 7Q
RAID контроллеры семейства 7Q обладают функцией SSD кэширования. Поддерживается выделение кэша на уровне логического диска. Оставшуюся емкость можно использовать как обычный RAID том. Поддерживается кэш и на чтение, и на запись. Более детальную информацию смотрите в разделе «SSD кэширование» в главе «Основные функции RAID контроллеров» ниже.

Сводная таблица для контроллеров 7-ой серии.

8-ая серия RAID контроллеров Adaptec.


Общие характеристики контроллеров 8-ой серии.

8-ая серия RAID контроллеров является флагманской группой RAID контроллеров на начало 2015 года. И базируется уже на технологии SAS3 (12 Гб/сек). Семейство включает в себя единственный в отрасли 16-портовый RAID-контроллер SAS 12 Гб/с со встроенным флэш-резервированием кэша - всё это в форм-факторе LP/MD2 - ASR-81605ZQ. Максимальные в отрасли для RAID контроллеров 700 000 операций ввода-вывода в секунду (IOPS). Max Cache 3.0 - уникальное для отрасли программное обеспечение уровневого управления и кэширования, обеспечивает хранилищам лучшую экономическую эффективность и производительность.

ASR-8885 имеет 8 внутренних/внешних портов SAS3 12 Гб/сек в низкопрофильном форм-факторе LP/MD2:
Базируются на микросхеме SRCv RoC (RAID on Chip) PMC PM8063 16x портов SAS3 (12 Гб/сек) PMC-Sierra (дополнительную информацию можно посмотреть на сайте www.pmcs.com);
Модели с максимальным количеством портов - 12 портов SAS 3.0 (12 Гб/сек) и слотом 8x PCI-express Gen 3.0;
Кэш память - 1024 MB DDR3-1600 DRAM;
Разъёмы HD miniSAS.
o Опционально могут использовать Набор защиты кэша Adaptec Flash Module (AFM-700), в который входят:
o Дочерняя плата с flash-памятью;
o Выносной блок суперконденсатора.
Модель AFM-700 модуля защиты кэша подходит к 7 и 8 серии контроллеров Adaptec.

Семейство 8Q
RAID контроллеры семейства 8Q поддерживают функцию SSD кэширования. Поддерживается выделение кэша на уровне логического диска. Оставшуюся емкость можно использовать как обычный RAID том. Поддерживается кэш и на чтение, и на запись. Более детальную информацию смотрите в разделе «SSD кэширование» в главе «Основные функции RAID контроллеров» ниже.

Сводная таблица для контроллеров 8-ой серии.

Adaptec RAID 81605ZQ с подключенным блоком суперконденсатора.

6-ая серия HBA Adaptec


Adaptec SAS HBA 6805H.

Общие характеристики HBA 6H серии:
Крайне эффективные, с точки зрения цены, HBA решения, которые предоставляют 4 / 8 внутренних SAS портов (технологии SAS2 6Гб/сек);
Производительность 250000 IOPS с размером блока. 512 Байт и 200000 IOPS с размером блока 4Kбайта;
Все модели имеют низкопрофильный размер LP/MD2 и используют MiniSAS разъемы;
Семейство использует 4x PCI-express Gen 2.0.

Сводная таблица для HBA 6-ой серии.

7-ая серия HBA Adaptec.


Adaptec SAS HBA 71605H.

Общие характеристики HBA 7H серии:
Крайне эффективные, с точки зрения цены, HBA решения, которые предоставляют 16/ 8 внутренних или внешних SAS портов (технологии SAS2 6Гб/сек);
Производительность 1 миллион IOPS с размером блока. 512 Байт и 800000 IOPS с размером блока 4Kбайта;
Поддерживают недисковые устройства;
Все модели имеют низкопрофильный размер LP/MD2 и используют MiniSAS-HD разъемы;
Семейство использует 8x PCI-express Gen 3.0.

Сводная таблица для HBA 7-ой серии.

Общий взгляд на ядро линейки продуктов с точки зрения поддержки функций RAID и HBA.

Информация предоставлена компанией Adaptec by PMC (Россия). Полный текст статьи можно найти

Как ни странно, но на сегодняшний день RAID стеки это частные решения, не подчиняющиеся стандартам. Можно снять все физические диски с созданными на них RAID томами, например, с контроллера Adaptec 6805 и перенести их на контроллер 8885 и тома будут видны. Но если попробовать перенести таким образом тома на контроллер другого производителя, то чуда не случится, и ни будет никакой возможности увидеть данные и эти RAID тома. Почему так происходит? Потому что контроллер другого производителя поддерживает свой собственный стек, не совместимый со стеком Adaptec.

Каждый RAID том представляется операционной системе компьютера как «SCSI диск», который и будет виден как отдельный объект в дисковых утилитах типа disk manager.Выглядит это так.

Таким образом, в менеджере дисков можно увидеть 4 виртуальных диска: RAID0, RAID1 и два диска RAID5.

При создании томов работает каждый уровень.

Задача уровня физических дисков – создать специальную область на дисках, где будет храниться информация о создаваемых томах. Такая область называется областью метаданных и представляет из себя сложный контейнер хранения, где хранится служебная информация. В эту область имеет доступ только операционная система контроллера и больше никто. В стеке Adaptec этот процесс создания служебной области называется – инициализация и выполняется через команду – initialize .

В RAID контроллерах, которые поддерживают режим HBA, есть и обратная команда – deinitialize (это контроллеры 7 и 8 серии). Эта команда полностью удаляет с физического диска такую структуру данных и переводит данный диск в режим HBA. Т.е., для того чтобы контроллер 7 или 8 серии начал работать как обычный HBA на нем достаточно деинициализировать все диски. Тогда они все будут видны в утилите центральной операционной системы типа DISK MANAGER и никакие другие операции не требуются.

На физическом уровне выполняется и другая известная функция, называемая – coercion . В стеке Adaptec она производится одновременно с initialize. Эта функция немного «подрезает» емкость жесткого диска. Дело в том, что диски одной и той же категории по емкости от разных производителей все же имеют неодинаковую емкость. Чтобы диск одного производителя можно было в будущем в случае необходимости заменить диском другого производителя и выполняется функция coercion. Отрезанная емкость просто навсегда “теряется” и никак не используется.

На физическом уровне возможно размещение различных сервисных функций – проверка диска деструктивным или недеструктивным методом, форматирование, полное стирание данных, заполнение диска нулями и т.д.

Логический уровень необходим по двум причинам:

Во-первых, он значительно уменьшает дискретность емкостей, которые Вы выбираете для создания томов. Это делается через возможность создавать несколько логических дисков (просто отрезая часть емкости) на одном физическом или создавать один логический диск с помощью двух или более физических. При этом емкости различных физических будут просто складываться. Сначала данными будет заполняться одна область одного физического диска, потом другая другого физического диска и т.д. Такой метод объединения дисков называется Chain (в некоторых других стеках используется слово Span ).

Во-вторых, при создании таких объектов информация о них попадает в метаданные, и они перестают быть привязанными к физическим координатам. После этого диски можно переносить с одного порта контроллера на другой, переносить тома с одного контроллера на другой и это будет по-прежнему замечательно работать.

Дальше наступает очередь уровня RAID . Как правило, современные стеки имеют два подуровня на этом уровне. На каждом подуровне располагаются элементарные RAID, такие как: chain или span (это не совсем RAID, это просто “суммирование” емкостей с разных дисков), RAID0, RAID1, RAID1E, RAID5, RAID6 и т.д.

Самый нижний подуровень принимает логические диски, например, LD1, LD2, LD3, как на рисунке, и «выпекает» из них том RAID5. То же самое происходит и с LD4, LD5, LD6. Из них получаем второй RAID5. Два RAID5 тома подаются на еще более высокий уровень, где к ним применяют функцию RAID0. На выходе мы получаем комплексный том, называемый RAID50 (где 5 означает тип RAID, используемый на нижнем подуровне, а 0 – тип функции RAID с верхнего уровня). Единственное, чего не хватает в определении – сколько RAID5 (в данном случае 2) было использовано для создания RAID50. В стеке Adaptec это называется second level device. Этот параметр будет нужен, если Вы будете создавать сложные тома типа 50 или 60.

Самый верхний уровень нужен для того, чтобы предоставить такой виртуальный объект для доступа операционной системы. При передаче на этот уровень предлагается ряд сервисных функций. Самые важные в стеке Adaptec две – build и clear.

• Clear записывает на весь новый том, который передается ОС, нули.
• Build «строит» новый том. Например, если это RAID1, то все содержимое первого контейнера скопируется в содержимое второго. И так для всех контейнеров.

На рисунке - Виртуальный контейнер типа RAID1. Операция build.

Если у Вас новые диски, с фабрики, то в их секторах записаны нули. Поэтому результат действия обеих функций будет одинаковым.

Отличие между SimpleVolume и HBA режимом.

Эти два режима крайне похожи друг на друга. Оба могут использоваться для создания Software RAID решений.

При работе диска в HBA режиме на нем не создаются метаданные. И нет «подрезания» ёмкости функцией coercion. Это может вызвать проблему при необходимости замены диска на диск другого производителя. Диск напрямую передаётся операционной системе. При этом кэш контроллера с ним работать не будет!

В случае создания Simple Volume через конфигурацию томов, на диске создается область метаданных, “подрезается” емкость функцией coertion. Далее через утилиту конфигурации создается Simple Volume том с использованием всей свободной емкости диска. И после этого данный объект передается в работу центральной операционной системе.

Сегодня стеки RAID контроллеров постоянно совершенствуются. Компания Adaptec в своей функции MaxCache plus устанавливала еще один уровень в стек, так называемый уровень tier, c подуровнями. Это позволяло взять один RAID5 том, созданный на SSD дисках, и другой том, например, RAID60, созданный на дисках SATA с 7200 rpm и собрать из них комплексный, виртуальный том, где наиболее востребованные данные хранились на RAID5, а наименее востребованные на RAID60. При этом тома можно было брать с разных контроллеров. Сегодня эта функция не поддерживается в силу перехода таких возможностей в серверные операционные системы. Естественно, стек контроллеров, как виртуализационный механизм, не стоит на месте и постоянно совершенствуется и на уровне виртуализации и на уровне основных и сервисных функции.

Устройство современного RAID контроллера.

Современный RAID контроллер представляет из себя информационную систему (упрощенно – компьютер), которая в силу выполнения своих основных функций: создания виртуального контейнера, размещения и обработки информации в контейнерах (по сути, ЧТЕНИЕМ – ЗАПИСЬЮ информации) обменивается данными с двумя другими типами информационных систем:
1. C операционной системой;
2. С HDD или SSD дисками.

С точки зрения внутренней архитектуры, современный RAID контроллер представляет из себя следующий набор основных подсистем:

• Микросхема RoC (RAIDonChip);
• Оперативная память;
• Управление “защитой” кэш памяти (как правило, это отдельная дочерняя плата, но в последних реализациях для 8-ой серии контроллеров Adaptec этот модуль встроен в микросхему RoC);
• Суперконденсатор, как источник питания для модуля защиты кэш, используется в случае пропадания основного питания;
• Flash-память и nvSRAM (память, которая не теряет информацию при выключении питания);
• Разъемы SAS, где каждый отдельный физический разъем собран по принципу четыре порта SAS в одном физическом разъеме;
• Разъем PCI-E.

Таблица - Основные подсистемы RAID контроллера.

Основные функции современных RAID контроллеров Adaptec.

Поддержка режима HBA.

Мы уже рассмотрели выше, какие модели RAID контроллеров поддерживают режим HBA. Важно отметить, что это делается независимо для каждого диска. Т.е., на контроллере, если вы не будете инициализировать часть дисков на физическом уровне, они автоматически попадут в программу типа «disk manager» и будут там видны и доступны для работы с ними. Вы можете одну часть таких дисков в режиме HBA использовать как одиночные диски, а другую часть использовать для создания software RAID средствами операционной системы. Проинициализированные диски будут использоваться для создания RAID томов средствами RAID контроллера.

Гибридные тома.

На последних версиях прошивки контроллер Adaptec автоматически создает Hybrid RAID-массив, когда вы создаете RAID 1/10 из одинакового количества SSD и HDD (но в старых прошивках было важно, чтобы в RAID1 парах SSD диск стоял «мастером», а HDD диск «слейвом»). Если Вы не знаете, как это проверить – обратитесь с службу тех. поддержки Adaptec. Контроллер Adaptec делает запись одновременно на HDD и SSD. В режиме гибридного тома чтение идет только с SSD! (для тома из двух HDD дисков при превышении некоторого порога операций ввода-вывода чтение происходит с двух дисков. В этом главное отличие гибридного режима RAID1/10). Результат – надежный массив с отличной производительностью чтения. Чтение как у одиночного SSD диска. Это на несколько порядков выше чему у HDD. Функция стандартно поставляется со всеми контроллерами Adaptec Series 2, 5,6, 7, 8.

Поддержка типов томов, являющихся заменой RAID5.

Надеюсь, вы хорошо представляете себе контейнер RAID5 - это достаточно классическое решение.

Красным показан контейнер хранения информации, созданный RAID контроллером. Это контейнер типа RAID5. Сам том RAID5 состоит из большого количества таких виртуальных контейнеров, сложенных в некоторую «пачку». Контейнер RAID5 состоит из набора секторов отдельных физических дисков. Особенность контейнера RAID5 заключается в том, что он может «пережить» проблемы в ряде контейнеров жестких дисков, из которых он состоит, т.е., секторы жестких дисков, которые входят в состав RAID5 контейнера, теряют свою информацию, но сам RAID5 контейнер ее хранит. Это происходит до определенного предела. При некотором количестве «испорченных» секторов сам RAID5 контейнер уже не сможет гарантировать 100% хранение информации. Из-за перехода с технологии SCSI на технологию SAS предлагаемое базовое качество хранения информации контейнером RAID5 очень сильно ухудшилось, буквально, на несколько порядков.

Произошло это из-за ряда объективных причин:
1. Из-за поддержки SATA дисков, особенно десктопного класса, качество хранения информации в контейнере типа «сектор диска» заметно упало (SCSI контроллеры поддерживали только высококачественные SCSI диски);
2. Количество дисков на контроллере выросло многократно (2х канальный SCSI контроллер – максимум 26 дисков, с учетом производительности 8 -10 (по 4-5 на канал));
3. Емкость дисков выросла значительно. Это значит, что в том RAID 5 может попадать намного больше контейнеров RAID5 (мах. Емкость SCSI дисков 400GB, максимальная емкость современного SATA жесткого диска – 8 ТБ).

Все это увеличивает вероятность возникновения проблем в одном контейнере RAID5, что значительно уменьшает вероятность сохранения информации в томе RAID5. По этой причине в современные стеки RAID контроллеров добавлены решения, которые позволяют исключить использование RAID5. Это RAID1E, RAID5EE и RAID6.

Раньше единственной альтернативой RAID5 был RAID10. Поддержка RAID 10, естественно, сохранилась.

Варианты замены RAID5:

Bad Stripe

Раньше, если даже один контейнер контроллера (страйп) терял информацию или не мог гарантировать ее сохранность, это приводило к ситуации перевода всего тома в режим offline со стороны RAID контроллера (остановка доступа, буквально, означала – контроллер не может гарантировать 100% целостность пользовательских данных на томе).

Современный контроллер “отрабатывает” такую ситуацию по-другому:
1. Доступ к тому не останавливается;
2. На томе выставляется специальный маркер “bad stripe”, которые означает, что в RAID томе есть специальные контейнеры, которые потеряли информацию;
3. О таких «испорченных контейнерах» сообщается операционной системе, чтобы она могла оценить возможные меры по предотвращению потери информации или ее восстановлению.

Маркер bad stripe невозможно удалить с тома. Можно только такой том удалить и создать заново. Появление тома с флагом «bad stripe» говорит о СЕРЬЕЗНЫХ ошибках или проблемах на этапе проектирования системы хранения или на этапе ее эксплуатации. Как правило, за такой ситуацией стоит серьезная некомпетентность проектировщика или системного администратора.

Основной источник проблем такого рода - неправильно спроектированный RAID5.

Некоторые реализации RAID 5 (например, RAID5 на десктопных дисках) запрещены для томов с пользовательскими данными. Требуется, как минимум, RAID5 + Hot Spare, что не имеет смысла при наличии RAID6. Получается, что там, где надо было создать RAID6, был создан RAID5, что через несколько лет эксплуатации привело к появлению маркера BAD STRIPE.

SSD кэширование

Функция SSD кэширования является одной из самых востребованных функций для оптимизации производительности RAID томов мощных систем хранения с большим количеством пользователей без значительного увлечения стоимости, количества юнитов решения, без потери емкости системы хранения и обеспечения оптимального энергопотребления.

Для применения SSD кэширования на запись, следует убедиться в выполнении двух условий:
1. Приложение работает в режиме «случайного чтения»;
2. Запросы к данным имеют неравномерную природу – есть контейнеры уровня RAID, к которым обращаются чаще, чтобы считать оттуда данные, а есть те, к которым обращения идут реже.

Надо отметить, что чем больше пользователей у системы, тем вероятнее, что запросы к отдельным контейнерам примут форму стандартного статистического распределения. По параметру «количество запросов в единицу времени» можно выделить условно «горячие данные» (количество обращений к ним будет больше заданного параметра) и «холодные данные» (количество обращений к ним меньше заданного параметра).

Работа SSD кэш на чтение заключается в копировании «горячих данных» на SSD диски и дальнейшем чтении с SSD, что ускоряет процесс в разы. Поскольку это копирование, то кэш на чтение имеет естественную защиту, если SSD диск, формирующий область SSD кэш, выходит из строя, это приводит только лишь к потере производительности, но никак не к потере данных.

Основные настройки функции SSD кэширования для контроллеров 7Q, 8Q:
1. Прежде всего убедиться, есть ли у Вас «горячие данные» и какой они имеют размер. Лучше всего это сделать экспериментально, поместив достаточно большой SSD диск в область кэша и сконфигурировав его в режиме Simple Volume. Такую работу могут сделать для Вас компании-интеграторы. Примерно через неделю через функцию управления можно снять статистику SSD кэширования. Она покажет есть ли у Вас «горячие данные» и какой объем они занимают.
2. К данному объему желательно добавить10-50 % емкости и на основании этих данных настроить Вашу схему кэширования на случай увеличения объема «горячих данных» в будущем, если такая тенденция есть.

Настройки позволяют от емкости ваших SSD дисков «отрезать» нужную емкость, забрать ее в RAID том нужного типа, а оставшуюся емкость можно перевести в обычный RAID том.

Далее следует оценить, есть ли смысл использовать SSD кэш на запись. Как правило, интернет приложения работают на чтение. Кэш на запись, в основном, используется как дополнение к кэшу на чтение, если приложение помимо чтения использует и запись. И в случае использования кэша на запись требуется обеспечить защиту кэша. Если что-то случается с областью кэша, то данные, помещенные туда при кэшировании записи, будут потеряны. Для защиты достаточно использовать RAID том, дающий избыточность по дискам, например, RAID1.

Возможные режимы конфигурации SSD кэш области.

Для отдельных томов на контроллере можно независимо включать и выключать SSD кэш на чтение и на запись в зависимости от потребностей и типов приложений, работающих с каждым томом.

Поддержка uEFI.

Все контроллеры и HBA текущей линейки продуктов Adaptec поддерживают режим uEFI биоса материнских плат. Переход с MBR на uEFI позволил, например, создавать системные и загрузочные тома больше 2TB, что было невозможным на платах с MBR BIOS (отметим, что все продукты Adaptec полностью поддерживают тома >2TB, со стороны контроллеров и HBA этой проблемы не существует). Есть много других преимуществ использования uEFI режима. Например, при поддержке дисков с размером сектора 4K. Все продукты Adaptec текущей линейки поддерживают диски с сектором 4К, кроме 6-ой серии контроллеров.

Важно помнить, что если материнская плата использует режим MBR, то утилита конфигурации контроллера вызывается через Cntrl +A.

На рисунке стандартная утилита конфигурации Adaptec, вызываемая через комбинацию клавиш Cntrl +A.

В случае режима uEFI конфигуратор контроллеров и HBA интегрируется в BIOS материнской платы. Эту утилиту легко найти по строчкам, содержащим слово «Adaptec» или «PMC». И, как видно на примере ниже, uEFI утилита имеет более расширенный функционал, чем утилита, вызываемая через Cntrl + A.

Функции Hot Spare.
Hot Spare диск выполняет роль пассивного элемента RAID тома, и «забирается» в RAID том, если с каким-то из дисков в составе тома что-то случилось, и он больше недоступен для выполнения своей работы. HOT SPARE называется диск, который установлен на контроллер, раскручен и назначен к одному или нескольким томам.

Относительно последней части определения HOT SPARE, можно создать 3 вида дисков:

Hot Spare диски используются в стеке Аdaptеc для ручного «ремонта» томов, у которых по разным причинам вышел из строя один диск. Например, Ваш RAID5 том потерял один диск и перешел в состояние «degraded». Вы вставляете новый диск вместо старого или в любой другой свободный слот, нажимаете функцию rescan и теперь видите новый диск на уровне физических дисков стека. Далее – объявляете его как HOT SPARE (неважно какого типа, например, Global Hot Spare) и ждете, когда это диск на 100% «встроится» в том. Том переходит в состояние – Optimal. После этого, Вы выбираете команду – delete hot spare. Эта команда снимает статус HOT SPARE с данного диска, и он становится полноценным участником данного RAID тома.

Функция Power Management.

RAID тома работают по-разному. Например, тома, созданные для резервного копирования данных, могут использоваться для перемещения данных, к примеру, два – три дня за месяц. Возникает вопрос: насколько хорошо подавать питание на жесткие диски и держать диски раскрученными, если фактически все оставшееся время они не используются?

Решением этого вопроса занимается функция power management. Ее философия – если диски не используются, их вращение можно замедлить (если такая функция поддерживается дисками), а потом полностью остановить и держать, пока они не понадобятся, в выключенном состоянии. Настройки данной функции крайне простые.

Сначала целиком на контроллер задается время по дням недели, когда эта функция активирована, а когда нет. Эта настройка привязана к работе типичной компании. Задаются параметры введения в работу внутренних и внешних дисков – попарно, по три, по четыре и т.д., чтобы распределить нагрузку на блоки питания. Кроме этого, задаются три значения таймера. По истечении первого, если нет операций ввода-вывода на диски данного тома, то эти диски перейдут в состояние «stand by», т.е. уменьшат свои обороты на 50%. Не все диски поддерживают этот режим, если он не поддерживается, то с диском ничего происходить не будет. По истечении второго таймера диски полностью остановятся и перейдут в состояние «power off». Третий таймер используется для периодической проверки дисков, которые выключились надолго. Контроллер включает диски, проводит их недеструктивную проверку и, если все ОК, то переводит их снова в «power off» состояние.

После этих настроек Вы можете активировать power management схему для каждого тома, где это будет полезным. Такие тома в системе управления будут помечаться зеленым цветом. Максимум преимуществ данная функция дает при использовании в центрах обработки данных, позволяя не только прямую экономию энергии за счет остановки дисков, но и вспомогательную экономию за счет уменьшения оборотов вентиляторов, обдувающих диски, когда последние переводятся в выключенное состояние.

Управление системами хранения Adaptec.

Утилиты управления, которые входят в пакет Max View Storage Manager (MSM) построены на самых передовых стандартах и используют самые последние тенденции в совершенствовании принципов и улучшении эффективности управления. Поэтому мы легко можем использовать Adaptec Max View Storage Manager как базовую модель, чтобы посмотреть на основные функции и методы в области управления системами хранения. В качестве основного элемента управления используется RAID контроллер, который может обмениваться служебной информацией с дисками, экспандерами и корзинами и, таким образом, поддерживать функции управления для всей подсистемы хранения в целом.

Основные возможности современных систем управления системами хранения:

• В качестве клиентского приложения используется стандартный WEB браузер.
• CIM провайдер для работы в виртуальных средах. CIM провайдер из пакета MSM позволяет осуществлять полное управление RAID контроллером из-под любой виртуальной среды. Например, при использовании vmware.
• Использование CLI (command line interface) утилит. В пакете MSМ, помимо графической утилиты управления, в качестве клиентской части которой используется WEB браузер, присутствует CLI утилита – ARCCONF.EXE. Список команд можно получить, используя документацию с сайта Adaptec . С помощью CLI можно создавать различные скрипты (мини программы), которые могут использоваться интеграторами для автоматизации производства, настроек, изменения прошивок и т.д. и в компаниях, использующих RAID контроллеры для автоматического опроса систем хранения на предмет выявления нештатных ситуаций.
• Возможность управления всей инфраструктурой из одного клиентского приложения. C помощью MSM в окне Enterprise View Вы можете «забрать» на управление все серверы с установленными в них одним или несколькими RAID контроллерами. Для этого вы или прямо указываете IP адрес таких систем, или используете функцию Auto Discovery.

Высокий уровень детализации, визуализации и вложенности объектов управления. Администратор может видеть, что весь сегмент сети стал красным, это означает – существует неисправность. Если раскрыть иконку сетевого сегмента, то будут видны все сервера. Проблемный сервер будет отмечен красным цветом. Если кликнуть мышкой на этом сервере будут видны RAID контроллеры, установленные в этой системе. Красный цвет одного из них означает какую-то проблему. При дальнейшей детализации будут видны тома, созданные на этом контроллере и проблемный том. И так с точностью до проблемного физического диска. Теперь администратор точно знает, что случилось, к каким последствиям это привело, и какой диск надо заменить.
Высокий уровень безопасности систем управления при использовании стандартных сетевых протоколов. Механизмы управления системами хранения, очевидно, нуждаются в защите. Ведь при несанкционированном доступе или при открытом канале управления пользовательские данные могут быть уничтожены без возможности восстановления. С этой целью MSM использует базу пользователей и паролей из самой операционной системы. Кроме этого, на канале между браузером и сервером управления используется шифрование трафика через протокол HTTPS. В других компонентах системы управления вопросы безопасности также решаются на самом высоком уровне.
Возможность отправки важных сообщений из системы хранения администратору. Чтобы не «приковывать» навеки взгляд администратора к экрану с MS в WEB браузере, система управления может быть настроена на отправку сообщений по E-mail. MSM имеет возможность отправлять все типы сообщений, включая тестовые. Наибольшую важность имеют сообщения типа Warning и Error, которые напрямую связаны с переходами RAID томов в состояние Degrade и Failed. Такие сообщения через почтовые приложения могут быть легко переданы на мобильный телефон администратора.

дисковая подсистема

hba

Добавить метки

Adaptec Snap Server - семейство дисковых хранилищ, которые могут выполнять функции сетевых файловых серверов (NAS-сервера) в средах Windows, Linux или Apple либо использоваться в качестве дисковых RAID-массивов с интерфейсом iSCSI в соcтаве IP-сетей хранения данных для обслуживания серверов приложений Windows и Linux.

NAS-серверы Adaptec Snap Server

NAS-серверы Adaptec Snap Server подключаются непосредственно с сети передачи данных (LAN) через встроенные порты Ethernet и выполняют роль файлового сервера для клиентов сети. Adaptec Snap Server - простой и эффективный способ создания дискового хранилища совместного доступа как для небольших рабочих групп, так и для центров обработки данных.

Использование Adaptec Snap Server обеспечивает:

Простоту развертывания - Вы просто подключаете к локальной сети, выполняете минимальные настройки и сервер готов к работе.

Гибкость - Вы можете использовать Adaptec Snap Server в гетерогенной сети, предоставляя дисковое пространство для клиентов Windows, Linux, Unix и Apple. Кроме того, одновременно Вы можете использовать Adaptec Snap Server как хранилище для серверов приложений при помощи протокола iSCSI. Таким образом, Adaptec Snap Server может обеспечивать доступ к данным не только на уровне файлов, но и на уровне блоков.

Высокую доступность - надежность работы Adaptec Snap Server обеспечивается дублированием Ethernet-подключений, организацией данных в RAID, горячей заменой дисков, резервированием систем питания и охлаждения.

Производительность - возможность использования дисков с интерфейсом SAS и скоростью вращения шпинделя 15000 об/мин, "широкие" порты SAS (12Gbit/s) для подключения дополнительных модулей расширения JBOD.

Масштабируемость - увеличение емкости хранилища осуществляется добавлением модуля расширения на 12 дисков, всего можно подключить до 7 модулей, при этом максимальный объем хранилища составляет 66TB.

Управляемость - сервер работает под управлением операционной системы GuardianOS, настройки сервера выполняются через WEB-интерфейс.

Защиту данных - встроенные средства безопасности и контроля доступа, антивирусная защита, репликация данных, "моментальная" копия данных - технология snapshot, развитые средства резервного копирования данных (в том числе данных на компьютерах-клиентах) на диски, ленту или сетевое устройство.

Экономичность - снижение совокупной стоимости владения ввиду отсутствия необходимости приобретения клиентских лицензий.

Семейство Adaptec Snap Server включает следующие модели NAS-серверов:

Snap Server 110 - компактное сетевое хранилище (NAS-сервер) емкостью до 750GB. Опционально: поддержка iSCSI, функции backup-сервера или виртуальной ленточной библиотеки, антивирусное ПО, технология Snapshot, репликация данных.

Snap Server 210 - компактное сетевое хранилище (NAS-сервер) емкостью до 1,5TB. Два жестких диска обеспечивают удвоение производительности дисковых операций (RAID 0) либо защиту данных (RAID 1). Опционально: поддержка iSCSI для блочного доступа к данным, функции backup-сервера или виртуальной ленточной библиотеки, антивирусное ПО, технология Snapshot, репликация данных.

Snap Server 410 - сетевое хранилище (NAS-сервер) емкостью до 3TB. Форм-фактор 1U для установки в стойку. Включает ПО эмуляции ленточной библиотеки резервного копирования. Опционально: поддержка iSCSI для блочного доступа к данным, антивирусное ПО, технология Snapshot, репликация данных, SCSI-интерфейс для подключения внешнего ленточного накопителя.

Snap Server 520 - сетевое хранилище (NAS-сервер) емкостью до 3TB. Возможно подключение до семи модулей расширения JBOD для максимальной емкости 66TB (требуется дополнительный SAS HBA). Форм-фактор 1U для установки в стойку. ПО эмуляции ленточной библиотеки резервного копирования, поддержка iSCSI для блочного доступа к данным, антивирусное ПО, Snapshot. Опционально: ПО репликации данных.

Snap Server 650 - сетевое хранилище (NAS-сервер) емкостью до 1,2TB, расширяемое до 64,2TB путем подключения модулей расширения JBOD. Форм-фактор 1U для установки в стойку. ПО эмуляции ленточной библиотеки резервного копирования, поддержка iSCSI для блочного доступа к данным, антивирусное ПО, Snapshot. Опционально: ПО репликации данных.

SANbloc S50 JBOD - модуль расширения для Snap Server 650 и Snap Server 520. Имеет форм-фактор 2U и включает до 12 дисков SAS или SATA. Возможно "прямое" подключение к серверу через контроллеры Adaptec 4800SAS или 4805SAS (до 8 модулей).

RAID-массивы Adaptec Snap Server с интерфейсом iSCSI

RAID-массивы Adaptec Snap Server с интерфейсом iSCSI предназначены для создания дисковых хранилищ, обслуживающих сервера приложений Windows и Linux в IP-сетях хранения данных (IP SAN). Один RAID-массив может обслуживать одновременно до 512 серверов, вмещать до 512 логических томов с максимальной емкостью до 18TB, обеспечивая пропускную способность 386MB/s.

Массивы Adaptec Snap Server поддерживают технологию Snapshot для снятия моментальной копии данных по расписанию или требованию, зеркалирование томов на разных RAID-массивах, аггрегирование и резервирование каналов подключения, кластеризацию в среде Windows, а также централизованное управление.

Семейство Adaptec Snap Server включает следующие модели RAID-массивов с интерфейсом iSCSI:

Snap Server 720i - дисковый RAID-массив емкостью 1 или 2 TB, которая может быть увеличена на 33TB с помощью модулей расширения SANbloc S50 JBOD. Форм-фактор 1U для установки в стойку.

Snap Server 730i - дисковый RAID-массив емкостью 3TB, которая может быть увеличена до 36TB с помощью модулей расширения SANbloc S50 JBOD. Форм-фактор 1U для установки в стойку.

Snap Server 750i - дисковый RAID-массив емкостью 1.2TB, которая может быть увеличена на 33TB с помощью модулей расширения SANbloc S50 JBOD. Форм-фактор 1U для установки в стойку.

Дисковые массивы Adaptec обеспечиваются гарантией 3 года.

Управление массивами RAID Adaptec 6405 включает в себя не только создание и удаление массивов, но и задачи, связанные с обслуживанием вышедших из строя дисков или с их плановой заменой. В этой статье я рассмотрю повседневные задачи серверного администратора.

Если вам интересны raid-технологии и задачи администрирования raid-контроллеров, рекомендую обратиться к рубрике на моем блоге.

Создание массива RAID Adaptec 6405

При загрузке сервера нажимаем CTRL+A и попадаем в меню контроллера. Нам нужно выбрать Array Configuration Utility :

Сначала необходимо зайти в пункт меню Initialize Drives , чтобы сообщить контроллеру какие диски будут использоваться.

Пробелом нужно отметить каждый диск:

После того как диски выбраны, нажимаем Enter и получаем предупреждение:

В итоге у меня поучились следующие настройки:

Примечание: пару слов о разделах объемом более 2ТБ — если итоговый размер массива меньше этого значения, то беспокоиться не стоит. Если объем больше, то ваша система откажется видеть все, что больше примерно 2ТБ. Это связано с MBR-разметкой, которая не позволяет разметить более 2ТБ. Выход — использовать GPT-разметку, но в таком случае ваша материнская плата должна поддерживать UEFI, чего на старых материнках нет. Чтобы это обойти, можно назначить массиву меньший объем, а потом оставшийся объем использовать для другого массива RAID такого же типа .

Снова получаем предупреждение об использовании функции отложенной записи.

Замена вышедшего из строя диска

На данном этапе я постараюсь смоделировать выход из строя одного из жестких дисков массива. Поскольку ранее я создал массив типа Raid1, он позволяет сохранить работоспособность при поломке половины дисков. В моем случае половина — это 1 диск (всего их два).

Порядок действий:

• я отключаю полностью сервер;
• достаю один из дисков и в соседнюю корзину монтирую другой.

В идеале после этого массив должен находиться в деградированном состоянии, но продолжать работать. После подключения третьего диска он не должен автоматически подцепиться к массиву. Во-первых, потому что он не инициализирован; во-вторых, потому что он не был указан как hotspare (диск горячего резерва) при создании массива.

Итак, приступим.

После включения сервера, в bios получаем следующие предупреждения:

В принципе так оно и должно быть, ведь одного диска в массиве не стало. Кстати, после «пропажи» диска из массива, контроллер стал очень громко и мерзко пищать и ко мне даже стали заходить коллеги и предупреждать о странном шуме из серверной.

Заходим в утилиту управления массивами, смотрим состояние массива в Manage Arrays :

Как видно, одного диска в массиве нет, сам массив находится в деградированном состоянии. Все как и предполагалось.

После этого нам надо инициализировать новый диск. На скриншоте вверху было видно, что в действующем массиве используется один диск в слоте 31, значит новый диск будет в каком-либо другом. Заходим в пункт меню Initialize Drives , инициализируем диск в слоте 29:

Получаем предупреждение (по-хорошему, к этому моменту у вас уже должны быть бэкапы всей актуальной информации, а сервер выведен на плановое обслуживание, если конечно это возможно):

Теперь нам необходимо сообщить контроллеру, что он должен использовать новый диск, чтобы включить его в массив вместо вышедшего из строя. Сделать это нужно через пункт меню Manage Arrays — нажимаем Enter, стрелочками вверх/вниз выделяем нужный массив (если их несколько), нажимаем CTRL+S и попадаем на страницу управления Global Hotspare :

Выбрать вы можете только диски, которые не находятся в данный момент ни в каких массивах. Пробелом выделяем нужный диск:

Нажимаем Enter. Выйдет диалоговое окно подтверждения изменения, вводим Y . Поскольку диск мы сделали диском горячей замены, то контроллер должен автоматически сделать его частью массива и сразу же начать процесс ребилда (rebuild array ), проверить это можно все также из пункта меню Manage Arrays :

С этого момента вы можете загружать сервер в нормальном режиме и работать дальше. Полный ребилд представляет из себя достаточно длительный процесс и зависит от множества параметров — производительности контроллера/дисков, текущей нагрузки на контроллер/диски и др. Можно сделать вывод, что скорость ребилда значительно изменится в большую сторону, если вы начнете использовать массив сразу после добавления диска. Если есть возможность, лучше дать контроллеру время спокойно завершить перестройку массива и уже после этого давать на него реальную нагрузку(это особенно касается массивов RAID5).

Процесс ребилда физически будет сопровождаться миганием красного светодиода на корзине того диска, который был только что добавлен в массив.

В утилите Adaptec Storage Manager перестроение массива выглядит таким образом:

Кстати, утилита запущена с того же самого сервера. На этом обзор задач управления массивами RAID Adaptec 6405 завершен.

Если вам помогла статья, оставляйте комментарии, делитесь своим опытом.