Саме інформація є рушійною силою сучасного бізнесу і зараз вважається найціннішим стратегічним активом будь-якого підприємства. Обсяг інформації зростає в геометричній прогресії разом із зростанням глобальних мереж та розвитком електронної комерції. Для досягнення успіху в інформаційній війні необхідно мати ефективну стратегію зберігання, захисту, спільного доступу та управління найважливішим цифровим майном - даними - як сьогодні, так і в найближчому майбутньому.

Управління ресурсами зберігання даних стало однією з найактуальніших стратегічних проблем, які стоять перед співробітниками відділів інформаційних технологій. Внаслідок розвитку Інтернету та докорінних змін у процесах бізнесу інформація накопичується з небаченою швидкістю. Крім нагальної проблеми забезпечення можливості постійного збільшення обсягу інформації, що зберігається, не менш гостро на порядку денному стоїть і проблема забезпечення надійності зберігання даних і постійного доступу до інформації. Для багатьох компаній формула доступу до даних "24 години на добу, 7 днів на тиждень, 365 днів на рік" стала нормою життя.

У разі окремого ПК під системою зберігання даних (СХД) можна розуміти окремий внутрішній жорсткий диск або систему дисків. Якщо ж мова заходить про корпоративну СГД, то традиційно можна виділити три технології організації зберігання даних: Direct Attached Storage (DAS), Network Attach Storage (NAS) та Storage Area Network (SAN).

Direct Attached Storage (DAS)

Технологія DAS має на увазі пряме (безпосереднє) підключення накопичувачів до сервера або ПК. При цьому накопичувачі (жорсткі диски, стрічкові накопичувачі) можуть бути як внутрішніми, так і зовнішніми. Найпростіший випадок DAS-системи – це один диск усередині сервера чи ПК. Крім того, до DAS-системи можна віднести організацію внутрішнього RAID-масиву дисків з використанням RAID-контролера.

Варто відзначити, що, незважаючи на формальну можливість використання терміна DAS-системи по відношенню до одиночного диска або внутрішнього масиву дисків, під DAS-системою прийнято розуміти зовнішню стійку або кошик з дисками, яку можна розглядати як автономну СХД (рис. 1). Окрім незалежного живлення, такі автономні DAS-системи мають спеціалізований контролер (процесор) для керування масивом накопичувачів. Наприклад, як такий контролер може виступати RAID-контролер з можливістю організації RAID-масивів різних рівнів.

Мал. 1. Приклад DAS-системи зберігання даних

Слід зазначити, що автономні DAS-системи можуть мати кілька зовнішніх каналів введення-виводу, що забезпечує можливість підключення до DAS-системи кількох комп'ютерів одночасно.

Як інтерфейси для підключення накопичувачів (внутрішніх або зовнішніх) у технології DAS можуть виступати інтерфейси SCSI (Small Computer Systems Interface), SATA, PATA та Fibre Channel. Якщо інтерфейси SCSI, SATA та PATA використовуються переважно для підключення внутрішніх накопичувачів, то інтерфейс Fibre Channel застосовується виключно для підключення зовнішніх накопичувачів та автономних СГД. Перевага інтерфейсу Fibre Channel полягає в тому випадку, що він не має жорсткого обмеження по довжині і може використовуватися в тому випадку, коли сервер або ПК, що підключається до DAS-системи, знаходиться на значній відстані від неї. Інтерфейси SCSI і SATA також можуть використовуватися для підключення зовнішніх СХД (у цьому випадку інтерфейс SATA називають eSATA), проте дані інтерфейси мають суворе обмеження максимальної довжини кабелю, що з'єднує DAS-систему і сервер, що підключається.

До основних переваг DAS-систем можна віднести їх низьку вартість (порівняно з іншими рішеннями СГД), простоту розгортання та адміністрування, а також високу швидкість обміну даними між системою зберігання та сервером. Власне, саме завдяки цьому вони здобули велику популярність у сегменті малих офісів та невеликих корпоративних мереж. У той же час DAS-системи мають свої недоліки, до яких можна віднести слабку керованість і неоптимальну утилізацію ресурсів, оскільки кожна DAS-система вимагає підключення виділеного сервера.

В даний час DAS-системи займають лідируючу позицію, проте частка продажів цих систем постійно зменшується. На зміну DAS-систем поступово приходять або універсальні рішення з можливістю плавної міграції з NAS-систем, або системи, що передбачають можливість їх використання як DAS-, так і NAS-і навіть SAN-систем.

Системи DAS слід використовувати у разі необхідності збільшення дискового простору одного сервера та винесення його за корпус. Також DAS-системи можна рекомендувати до застосування для робочих станцій, що обробляють великі обсяги інформації (наприклад, для станцій нелінійного відеомонтажу).

Network Attached Storage (NAS)

NAS-системи - це мережні системи зберігання даних, що безпосередньо підключаються до мережі точно так, як і мережевий принт-сервер, маршрутизатор або будь-який інший мережний пристрій (рис. 2). Фактично NAS-системи є еволюцією файл-серверів: різниця між традиційним файл-сервером і NAS-пристроєм приблизно така ж, як між апаратним мережним маршрутизатором і програмним маршрутизатором на основі виділеного сервера.

Мал. 2. Приклад NAS-системи зберігання даних

Для того щоб зрозуміти різницю між традиційним файл-сервером і NAS-пристроєм, давайте пригадаємо, що традиційний файл-сервер є виділеним комп'ютером (сервером), на якому зберігається інформація, доступна користувачам мережі. Для зберігання інформації можуть використовуватися жорсткі диски, що встановлюються на сервер (як правило, вони встановлюються в спеціальні кошики), або до сервера можуть підключатися DAS-пристрої. Адміністрування файл-сервера провадиться з використанням серверної операційної системи. Такий підхід до організації систем зберігання даних в даний час є найбільш популярним у сегменті невеликих локальних мереж, однак має один істотний недолік. Справа в тому, що універсальний сервер (та ще у поєднанні з серверною операційною системою) - це аж ніяк не дешеве рішення. У той же час, більшість функціональних можливостей, властивих універсальному серверу, у файл-сервері просто не використовується. Ідея полягає в тому, щоб створити оптимізований файл-сервер з оптимізованою операційною системою та збалансованою конфігурацією. Саме цю концепцію і втілює у собі NAS-пристрій. У цьому сенсі NAS-пристрої можна розглядати як «тонкі» файл-сервери, або, як їх називають, файлери (filers).

Крім оптимізованої ОС, звільненої від усіх функцій, не пов'язаних з обслуговуванням файлової системи та реалізацією введення-виведення даних, NAS-системи мають оптимізовану швидкість доступу файлову систему. NAS-системи проектуються таким способом, що вся їхня обчислювальна потужність фокусується виключно на операціях обслуговування та зберігання файлів. Сама операційна система розташовується у флеш-пам'яті і визначається фірмою-виробником. Звісно, ​​що з виходом нової версії ОС користувач може самостійно «перепрошити» систему. Підключення NAS-пристроїв до мережі та їх конфігурування є досить простим завданням і під силу будь-якому досвідченому користувачеві, не кажучи вже про системного адміністратора.

Таким чином, у порівнянні з традиційними файловими серверами NAS-пристрою є більш продуктивними та менш дорогими. В даний час практично всі пристрої NAS орієнтовані на використання в мережах Ethernet (Fast Ethernet, Gigabit Ethernet) на основі протоколів TCP/IP. Доступ до пристроїв NAS здійснюється за допомогою спеціальних протоколів доступу до файлів. Найбільш поширеними протоколами файлового доступу є протоколи CIFS, NFS та DAFS.

CIFS(Common Internet File System System – загальна файлова система Інтернету) – це протокол, який забезпечує доступ до файлів та сервісів на віддалених комп'ютерах (у тому числі і в Інтернет) та використовує клієнт-серверну модель взаємодії. Клієнт створює запит до сервера на доступ до файлів, сервер виконує запит клієнта та повертає результат своєї роботи. Протокол CIFS зазвичай використовується в локальних мережах з Windows для доступу до файлів. Для транспортування даних CIFS використовує протокол TCP/IP. CIFS забезпечує функціональність, схожу на FTP (File Transfer Protocol), але надає клієнтам покращений контроль над файлами. Він також дозволяє розділяти доступ до файлів між клієнтами, використовуючи блокування та автоматичне відновлення зв'язку із сервером у разі збою мережі.

Протокол NFS(Network File System - мережна файлова система) зазвичай застосовується на платформах UNIX і є сукупність розподіленої файлової системи та мережного протоколу. У протоколі NFS також використовується клієнт-серверна модель взаємодії. Протокол NFS забезпечує доступ до файлів на віддаленому хості (сервері) так, якби вони знаходилися на комп'ютері користувача. Для транспортування даних NFS використовує протокол TCP/IP. Для роботи NFS в Інтернеті було розроблено протокол WebNFS.

Протокол DAFS(Direct Access File System – прямий доступ до файлової системи) – це стандартний протокол файлового доступу, який базується на NFS. Цей протокол дозволяє прикладним завданням передавати дані в обхід операційної системи та її буферного простору безпосередньо до транспортних ресурсів. Протокол DAFS забезпечує високі швидкості файлового введення-виводу та знижує завантаження процесора завдяки значному зменшенню кількості операцій та переривань, які зазвичай необхідні для обробки мережевих протоколів.

DAFS проектувався з орієнтацією на використання у кластерному та серверному оточенні для баз даних та різноманітних Інтернет-додатків, орієнтованих на безперервну роботу. Він забезпечує найменші затримки доступу до загальних файлових ресурсів та даних, а також підтримує інтелектуальні механізми відновлення працездатності системи та даних, що робить його привабливим для використання у NAS-системах.

Резюмуючи вищевикладене, NAS-системи можна рекомендувати для використання в мультиплатформних мережах у разі, коли потрібний мережевий доступ до файлів і досить важливими факторами є простота встановлення адміністрування системи зберігання даних. Прекрасним прикладом є застосування NAS як файл-сервер в офісі невеликої компанії.

Storage Area Network (SAN)

Власне, SAN - це вже не окремий пристрій, а комплексне рішення, що є спеціалізованою мережевою інфраструктурою для зберігання даних. Мережі зберігання даних інтегруються у вигляді окремих спеціалізованих підмереж до складу локальної (LAN) або глобальної (WAN) мережі.

По суті SAN-мережі пов'язують один або кілька серверів (SAN-серверів) з одним або декількома пристроями зберігання даних. SAN-мережі дозволяють будь-якому SAN-серверу отримувати доступ до будь-якого пристрою зберігання даних, не завантажуючи ні інші сервери, ні локальну мережу. Крім того, можливий обмін даними між пристроями зберігання даних без участі серверів. Фактично SAN-мережі дозволяють дуже велику кількість користувачів зберігати інформацію в одному місці (зі швидким централізованим доступом) і спільно використовувати її. Як пристрої зберігання даних можуть використовуватися RAID-масиви, різні бібліотеки (стрічкові, магнітооптичні та ін), а також JBOD-системи (масиви дисків, не об'єднані в RAID).

Мережі зберігання даних почали інтенсивно розвиватися та впроваджуватися лише з 1999 року.

Подібно до того, як локальні мережі в принципі можуть будуватися на основі різних технологій і стандартів, для побудови мереж SAN також можуть застосовуватися різні технології. Але так само, як стандарт Ethernet (Fast Ethernet, Gigabit Ethernet) став стандартом де-факто для локальних мереж, в мережах зберігання даних домінує стандарт Fibre Channel (FC). Власне, саме розвиток стандарту Fibre Channel спричинило розвиток самої концепції SAN. У той же час необхідно відзначити, що все більшої популярності набуває стандарт iSCSI, на основі якого теж можлива побудова SAN-мереж.

Поряд із швидкісними параметрами однією з найважливіших переваг Fibre Channel є можливість роботи на великих відстанях та гнучкість топології. Концепція побудови топології мережі зберігання даних виходить з тих самих принципах, як і традиційні локальні мережі з урахуванням комутаторів і маршрутизаторів, що значно спрощує побудова багатовузлових змін систем.

Для передачі даних у стандарті Fibre Channel використовуються як оптоволоконні, так і мідні кабелі. При організації доступу до територіально віддалених вузлів з відривом до 10 км використовується стандартна апаратура і одномодове оптоволокно передачі сигналу. Якщо вузли рознесені більшу відстань (десятки і навіть сотні кілометрів), застосовуються спеціальні підсилювачі.

Топологія SAN-мережі

Типовий варіант SAN-мережі на основі стандарту Fibre Channel показано на рис. 3. Інфраструктуру такої SAN-мережі складають пристрої зберігання даних з інтерфейсом Fibre Channel, SAN-сервери (сервери, що підключаються як до локальної мережі за інтерфейсом Ethernet, так і до SAN-мережі за інтерфейсом Fiber Channel) та комутаційна фабрика (Fibre Channel Fabric) , яка будується на основі Fibre Channel-комутаторів (концентраторів) та оптимізована для передачі великих блоків даних. Доступ мережевих користувачів до системи зберігання даних здійснюється через SAN-сервери. При цьому важливо, що трафік усередині SAN-мережі відокремлений від IP-трафіку локальної мережі, що, безумовно, дозволяє знизити завантаження локальної мережі.

Мал. 3. Типова схема SAN-мережі

Переваги SAN-мереж

До основних переваг технології SAN можна віднести високу продуктивність, високий рівень доступності даних, відмінну масштабованість та керованість, можливість консолідації та віртуалізації даних.

Комутаційні фабрики Fiber Channel з архітектурою, що не блокує, дозволяють реалізувати одночасний доступ безлічі SAN-серверів до пристроїв зберігання даних.

В архітектурі SAN можуть легко переміщатися з одного пристрою зберігання даних на інший, що дозволяє оптимізувати розміщення даних. Це особливо важливо в тому випадку, коли кільком SAN-серверам потрібен одночасний доступ до тих самих пристроїв зберігання даних. Зазначимо, що процес консолідації даних неможливий у разі використання інших технологій, як, наприклад, при застосуванні DAS-пристроїв, тобто пристроїв для зберігання даних, що безпосередньо під'єднуються до серверів.

Інша можливість, яку надає архітектура SAN, - це віртуалізація даних. Ідея віртуалізації полягає в тому, щоб забезпечити SAN-серверам доступ не до окремих пристроїв зберігання даних, а до ресурсів. Тобто, сервери повинні «бачити» не пристрої зберігання даних, а віртуальні ресурси. Для практичної реалізації віртуалізації між SAN-серверами та дисковими пристроями може розміщуватись спеціальний пристрій віртуалізації, до якого з одного боку підключаються пристрої зберігання даних, а з іншого - SAN-сервери. Крім того, багато сучасних FC-комутаторів і HBA-адаптерів надають можливість реалізації віртуалізації.

Наступна можливість, що надається SAN-мережами, - це реалізація віддаленого дзеркалювання даних. Принцип віддзеркалення даних полягає в дублюванні інформації на кілька носіїв, що підвищує надійність зберігання інформації. Прикладом найпростішого випадку дзеркалювання даних може служити об'єднання двох дисків RAID-масив рівня 1. У цьому випадку одна і та ж інформація записується одночасно на два диски. Недоліком такого способу можна вважати локальне розташування обох дисків (як правило, диски знаходяться в тому самому кошику або стійці). Мережі зберігання даних дозволяють подолати цей недолік і надають можливість організації дзеркалювання не просто окремих пристроїв зберігання даних, а самих SAN-мереж, які можуть бути віддалені одна від одної на сотні кілометрів.

Ще одна перевага SAN-мереж полягає в простоті організації резервного копіювання даних. Традиційна технологія резервного копіювання, яка використовується в більшості локальних мереж, потребує виділеного Backup-сервера і, що особливо важливо, виділеної смуги пропускання мережі. Фактично під час операції резервного копіювання сервер стає недоступним для користувачів локальної мережі. Саме тому резервне копіювання проводиться, як правило, в нічний час.

Архітектура мереж зберігання даних дозволяє по-іншому підійти до проблеми резервного копіювання. У цьому випадку Backup-сервер є складовою SAN-мережі і підключається безпосередньо до комутаційної фабрики. У цьому випадку Backup-трафік виявляється ізольованим від трафіку локальної мережі.

Устаткування, яке використовується для створення SAN-мереж

Як уже зазначалося, для розгортання SAN-мережі потрібні пристрої зберігання даних, SAN-сервери та обладнання для побудови комутаційної фабрики. Комутаційні фабрики включають пристрої фізичного рівня (кабелі, конектори), так і пристрої підключення (Interconnect Device) для зв'язку вузлів SAN один з одним, пристрої трансляції (Translation devices), що виконують функції перетворення протоколу Fibre Channel (FC) в інші протоколи, наприклад SCSI, FCP, FICON, Ethernet, ATM чи SONET.

Кабелі

Як зазначалося, для з'єднання SAN-устройств стандарт Fibre Channel допускає використання як волоконно-оптичних, і мідних кабелів. При цьому в одній мережі можуть застосовуватися різні типи кабелів. Мідний кабель використовується для коротких відстаней (до 30 м), а волоконно-оптичний як для коротких, так і для відстаней до 10 км і більше. Застосовують як багатомодовий (Multimode), так і одномодовий (Singlemode) волоконно-оптичні кабелі, причому багатомодовий використовується для відстаней до 2 км, а одномодовий – для великих відстаней.

Існування різних типів кабелів у межах однієї SAN-мережі забезпечується за допомогою спеціальних конверторів інтерфейсів GBIC (Gigabit Interface Converter) та MIA (Media Interface Adapter).

У стандарті Fibre Channel передбачено кілька можливих швидкостей передачі (див. таблицю). Зазначимо, що в даний час найбільш поширені FC-пристрої стандартів 1, 2 та 4 GFC. При цьому забезпечується зворотна сумісність більш швидкісних пристроїв з менш швидкісними, тобто пристрій стандарту GFC 4 автоматично підтримує підключення пристроїв стандартів 1 і 2 GFC.

Пристрої підключення (Interconnect Device)

У стандарті Fibre Channel допускається використання різних мережевих топологій підключення пристроїв, таких як «точка-точка» (Point-to-Point), кільце з доступом, що розділяється (Arbitrated Loop, FC-AL) і комутована зв'язкова архітектура (switched fabric).

Топологія "точка-точка" може застосовуватися для підключення сервера до виділеної системи зберігання даних. У цьому випадку дані не використовуються разом із серверами SAN-мережі. Фактично, дана топологія є варіантом DAS-системи.

Для реалізації топології «крапка-крапка», як мінімум, необхідний сервер, оснащений адаптером Fibre Channel, та пристрій зберігання даних з інтерфейсом Fibre Channel.

Топологія кільця з розділеним доступом (FC-AL) має на увазі схему підключення пристроїв, при якому дані передаються по замкнутому логічно контуру. При топології кільця FC-AL як пристрої підключення можуть виступати концентратори або комутатори Fibre Channel. При використанні концентраторів смуга пропускання ділиться між усіма вузлами кільця, в той час, як кожен порт комутатора надає протокольну смугу пропускання для кожного вузла.

На рис. 4 показаний приклад кільця Fibre Channel з розподілом доступу.

Мал. 4. Приклад кільця Fibre Channel з поділом доступу

Конфігурація аналогічна фізичній зірці та логічному кільцю, що використовується в локальних мережах на базі технології Token Ring. Крім того, як і в мережах Token Ring, дані переміщаються по кільцю в одному напрямку, але, на відміну від мереж Token Ring, пристрій може запросити право на передачу даних, а не чекати на отримання порожнього маркера від комутатора. Кільця Fibre Channel з поділом доступу можуть адресувати до 127 портів, однак, як показує практика, типові кільця FC-AL містять до 12 вузлів, а після підключення 50 вузлів продуктивність катастрофічно знижується.

Топологія комутованої зв'язкової архітектури (Fibre Channel switched-fabric) реалізується з урахуванням Fibre Channel-коммутаторов. У цій топології кожен пристрій має логічне підключення до іншого пристрою. Фактично Fibre Channel-комутатори зв'язкової архітектури виконують самі функції, як і традиційні Ethernet-комутатори. Нагадаємо, що, на відміну від концентратора, комутатор - це високошвидкісний пристрій, який забезпечує підключення за схемою "кожен з кожним" та обробляє кілька одночасних підключень. Будь-який вузол, підключений до Fibre Channel-комутатора, отримує протокольну смугу пропускання.

Найчастіше при створенні великих SAN-мереж використовується змішана топологія. На нижньому рівні застосовуються FC-AL-кільця, підключені до малопродуктивних комутаторів, які, у свою чергу, підключаються до високошвидкісних комутаторів, що забезпечують максимально можливу пропускну здатність. Декілька комутаторів можуть бути з'єднані один з одним.

Пристрої трансляції

Пристрої трансляції є проміжними пристроями, що виконують перетворення протоколу Fibre Channel на протоколи вищих рівнів. Ці пристрої призначені для з'єднання Fibre Channel-мережі із зовнішньою WAN-мережею, локальною мережею, а також для приєднання до Fibre Channel-мережі різних пристроїв та серверів. До таких пристроїв відносяться мости (Bridge), Fibre Channel-адаптери (HBA), маршрутизатори, шлюзи та мережні адаптери.

Мал. 5. Класифікація пристроїв трансляції

Найбільш поширеними пристроями трансляції є HBA-адаптери з інтерфейсом PCI, які використовуються для підключення серверів до мережі Fibre Channel. Мережеві адаптери дозволяють підключати локальні мережі Ethernet до мереж Fibre Channel. Мости використовуються для підключення пристроїв зберігання даних з інтерфейсом SCSI до мережі на базі Fibre Channel. Слід зазначити, що останнім часом практично всі пристрої зберігання даних, призначені для застосування в SAN, мають вбудований Fibre Channel і не вимагають використання мостів.

Пристрої зберігання даних

Як пристрої зберігання даних у SAN-мережах можуть використовуватися як жорсткі диски, так і стрічкові накопичувачі. Якщо говорити про можливі конфігурації застосування жорстких дисків як пристрої зберігання даних у SAN-мережах, то це можуть бути як масиви JBOD, так і RAID-масиви дисків. Традиційно пристрої зберігання даних для SAN-мереж випускаються у вигляді зовнішніх стояків або корзин, оснащених спеціалізованим RAID-контролером. На відміну від NAS або DAS пристроїв, пристрої для SAN-систем оснащуються Fibre Channel-інтерфейсом. При цьому самі диски можуть мати як SCSI, так і SATA-інтерфейс.

Окрім пристроїв зберігання на основі жорстких дисків, у SAN-мережах широке застосування знаходять стрічкові накопичувачі та бібліотеки.

SAN-сервери

Сервери для мереж SAN відрізняються від звичайних серверів програм лише однією деталлю. Окрім мережевого Ethernet-адаптера, для взаємодії сервера з локальною мережею вони оснащуються HBA-адаптером, що дозволяє підключати їх до SAN-мереж на основі Fibre Channel.

Системи зберігання даних компанії Intel

Далі ми розглянемо кілька прикладів пристроїв зберігання даних компанії Intel. Строго кажучи, компанія Intel не випускає закінчених рішень та займається розробкою та виробництвом платформ та окремих компонентів для побудови систем зберігання даних. На основі даних платформ багато компаній (у тому числі і ціла низка російських компаній) виробляють вже закінчені рішення і продають їх під своїми логотипами.

Intel Entry Storage System SS4000-E

Система зберігання даних Intel Entry Storage System SS4000-E є NAS-пристроєм, призначеним для застосування в невеликих і середніх офісах і багатоплатформних локальних мережах. При використанні системи Intel Entry Storage System SS4000-E мережевий доступ до даних, що розділяється, отримують клієнти на основі Windows-, Linux- і Macintosh-платформ. Крім того, Intel Entry Storage System SS4000-E може виступати як у ролі DHCP-сервера, так і DHCP-клієнта.

Система зберігання даних Intel Entry Storage System SS4000-E є компактною зовнішньою стійкою з можливістю встановлення до чотирьох дисків з інтерфейсом SATA (рис. 6). Таким чином, максимальна ємність системи може становити 2 Тб при використанні дисків ємністю 500 Гб.

Мал. 6. Система зберігання даних Intel Entry Storage System SS4000-E

У системі Intel Entry Storage System SS4000-E застосовується SATA RAID-контролер з підтримкою рівнів RAID-масивів 1, 5 та 10. Оскільки дана система є NAS-пристроєм, тобто фактично «тонким» файл-сервером, система зберігання даних повинна мати спеціалізований процесор, пам'ять та прошиту операційну систему. Як процесор у системі Intel Entry Storage System SS4000-E застосовується Intel 80219 з тактовою частотою 400 МГц. Крім того, система оснащена 256 Мбайт пам'яті DDR та 32 Мбайт флеш-пам'яті для зберігання операційної системи. Як операційна система використовується Linux Kernel 2.6.

Для підключення до локальної мережі в системі передбачено двоканальний гігабітний мережевий контролер. Крім того, є також два порти USB.

Пристрій зберігання даних Intel Entry Storage System SS4000-E підтримує протоколи CIFS/SMB, NFS та FTP, а налаштування пристрою реалізується за допомогою web-інтерфейсу.

У разі застосування Windows-клієнтів (підтримуються Windows 2000/2003/XP) додатково є можливість реалізації резервного копіювання та відновлення даних.

Intel Storage System SSR212CC

Система Intel Storage System SSR212CC є універсальною платформою для створення систем зберігання даних типу DAS, NAS і SAN. Ця система виконана в корпусі заввишки 2 U і призначена для монтажу стандартної 19-дюймової стійки (рис. 7). Система Intel Storage System SSR212CC підтримує встановлення до 12 дисків з інтерфейсом SATA або SATA II (підтримується функція гарячої заміни), що дозволяє нарощувати ємність системи до 6 Тб при використанні дисків ємністю по 550 Гб.

Мал. 7. Система зберігання даних Intel Storage System SSR212CC

Фактично система Intel Storage System SSR212CC є повноцінним високопродуктивним сервером, що функціонує під управлінням операційних систем Red Hat Enterprise Linux 4.0, Microsoft Windows Storage Server 2003, Microsoft Windows Server 2003 Enterprise Edition і Microsoft Windows Server 2003 Standard Edition.

Основу сервера складає процесор Intel Xeon із тактовою частотою 2,8 ГГц (частота FSB 800 МГц, розмір L2-кешу 1 Мбайт). Система підтримує використання пам'яті SDRAM DDR2-400 з ECC максимальним об'ємом до 12 Гбайт (для встановлення модулів пам'яті передбачено шість DIMM-слотів).

Система Intel Storage System SSR212CC оснащена двома RAID-контролерами Intel RAID Controller SRCS28Xs з можливістю створення RAID-масивів рівнів 0, 1, 10, 5 та 50. Крім того, система Intel Storage System SSR212CC має двоканальний гігабітний мережевий контролер.

Intel Storage System SSR212MA

Система Intel Storage System SSR212MA є платформою для створення систем зберігання даних в IP SAN-мережах на основі iSCSI.

Дана система виконана в корпусі заввишки 2 U і призначена для монтажу стандартної 19-дюймової стійки. Система Intel Storage System SSR212MA підтримує встановлення до 12 дисків з інтерфейсом SATA (підтримується функція гарячої заміни), що дозволяє нарощувати ємність системи до 6 Тб при використанні дисків ємністю по 550 Гб.

За своєю апаратною конфігурацією система Intel Storage System SSR212MA не відрізняється від системи Intel Storage System SSR212CC.

Якщо ви керуєте власною інфраструктурою у власному центрі обробки даних, ви повинні пройти вибір різних пропозицій для зберігання. Вибір рішення для зберігання даних значною мірою залежить від вашої вимоги. Перед остаточним доопрацюванням певного варіанту зберігання для вашого випадку використання трохи корисне розуміння технології.

Я насправді збирався написати статтю про зберігання об'єктів (яка є найактуальнішою опцією зберігання у хмарі). Але перш ніж йти і обговорювати цю частину арени зберігання, я подумав, що краще обговорити два основних методи зберігання, які спільно існують разом з дуже довгий час, які використовуються компаніями всередині країни для їхньої потреби.

Рішення вашого типу сховища буде залежати від багатьох факторів, таких як наведені нижче.

• Тип даних, які потрібно зберегти
• Схема використання
• Масштабування
• Зрештою, ваш бюджет

Коли ви починаєте свою кар'єру як системний адміністратор, ви часто чуєте, як ваші колеги розповідають про різні методи зберігання, такі як SAN, NAS, DAS і т.д. І без невеликого копання ви повинні плутатися з різними умовами зберігання. Плутанина виникає часто через схожість між різними підходами до зберігання. Єдине тверде і швидке правило залишатися в курсі технічних термінів — читати матеріали (особливо концепції, що лежать в основі певної технології).

Сьогодні ми обговоримо два різні методи, які визначають структуру сховища у вашому середовищі. Ваш вибір із двох у вашій архітектурі повинен залежати тільки від вашого варіанту використання та типу даних, які ви зберігаєте.

Наприкінці цього уроку я сподіваюся, що у вас буде чітке уявлення про два основні методи зберігання та про те, що вибрати для ваших потреб.

SAN (мережа зберігання даних) та NAS (мережне сховище)

Нижче наведено основні відмінності кожної з цих технологій.

• Як сховище підключено до системи. Коротше, як робиться з'єднання між системою доступу та компонентом зберігання (безпосередньо підключеним або підключеним до мережі)
• Тип кабелю, який використовується для підключення. Коротше кажучи, це тип кабелів для підключення системи до компоненту зберігання (наприклад, Ethernet та Fibre Channel)
• Як виконуються запити введення та виведення. Коротше кажучи, це протокол, який використовується для виконання запитів на введення та виведення (наприклад, SCSI, NFS, CIFS і т.д.)

Давайте обговоримо SAN спочатку, а потім NAS, і в кінці давайте порівняємо кожну з цих технологій, щоб очистити різницю між ними.

SAN (мережа зберігання)

Сьогоднішні програми дуже ресурсомісткі, через запити, які необхідно обробляти одночасно в секунду. Візьміть приклад веб-сайту електронної комерції, де тисячі людей роблять замовлення за секунду, і всі вони повинні бути правильно збережені в базі даних для подальшого пошуку. Технологія зберігання, що використовується для зберігання таких баз даних з високим трафіком, повинна бути швидкою в обслуговуванні та відповіді запитів (стисло це має бути швидким на вході та виході).

У таких випадках (коли вам потрібна висока продуктивність та швидке введення-виведення), ми можемо використовувати SAN.

SAN - це не що інше, як високошвидкісна мережа, яка робить з'єднання між пристроями зберігання та серверами.

Традиційно сервери додатків використовували власні пристрої зберігання, прикріплені до них. Розмова з цими пристроями за допомогою протоколу, відомого як SCSI (Small Computer System Interface). SCSI — це не що інше, як стандарт, який використовується для зв'язку між серверами та пристроями зберігання. Усі звичайні жорсткі диски, стрічкові накопичувачі тощо. Використовують SCSI. Спочатку вимоги до сховища сервера виконували пристрої зберігання, які були включені всередині сервера (сервер, який використовується для розмови з цим внутрішнім пристроєм зберігання даних, використовуючи SCSI. Це дуже схоже на те, як звичайний робочий стіл розмовляє з його внутрішнім жорсткий диск.).

Такі пристрої, як компакт-диски, підключаються до сервера (який є частиною сервера) за допомогою SCSI. Основною перевагою SCSI для підключення пристроїв до сервера була його висока пропускна здатність. Хоча цієї архітектури достатньо для низьких вимог, існує кілька обмежень, таких як наведені нижче.

• Сервер може отримувати доступ лише до даних на пристроях, безпосередньо прив'язаних до нього.
  Якщо щось трапиться із сервером, доступ до даних завершиться невдало (оскільки пристрій зберігання є частиною сервера і підключений до нього з використанням SCSI)
• Обмеження кількості пристроїв зберігання, до яких може отримати доступ сервер. У випадку, якщо серверу потрібно більше місця для зберігання, не буде більше місця, яке можна підключити, оскільки шина SCSI може вмістити лише кінцеве число пристроїв.
• Крім того, сервер, що використовує сховище SCSI, повинен бути поруч із пристроєм зберігання (оскільки паралельний SCSI, який є звичайною реалізацією на більшості комп'ютерів і серверів, має деякі обмеження на відстань, він може працювати до 25 метрів).

Деякі з цих обмежень можна подолати за допомогою DAS (безпосередньо прив'язаного сховища). Смарт, що використовується прямого підключення сховища до серверу, може бути будь-яким із каналів SCSI, Ethernet, Fiber тощо. буд.). Низька складність, низькі інвестиції, простота в розгортанні призвела до того, що DAS було прийнято багатьма нормальними вимогами. Рішення було добрим навіть з точки зору продуктивності, якщо воно використовується з більш швидкими середовищами, такими як волоконний канал.

Навіть зовнішній USB-накопичувач, підключений до сервера, також є DAS (добре концептуально його DAS, оскільки безпосередньо підключений до USB-шине сервера). Але USB-накопичувачі зазвичай не використовуються через обмеження швидкості USB шини. Зазвичай, для важких і великих систем зберігання даних DAS використовується носій SAS (послідовно підключений SCSI). Внутрішній пристрій зберігання даних може використовувати RAID (що зазвичай має місце) або будь-що, щоб забезпечити обсяги зберігання на серверах. В даний час параметри зберігання SAS забезпечують швидкість 6 Гбіт/с.

Прикладом пристрою для зберігання даних DAS є MD1220 від Dell.

На сервері сховища DAS буде дуже схожим на власний накопичувач або зовнішній накопичувач, який ви підключили.

Хоча DAS є хорошим для нормальних потреб і дає хорошу продуктивність, існують такі обмеження, як кількість серверів, які можуть отримати до нього доступ. Зберігайте пристрій або скажімо, що сховище DAS повинно знаходитися поруч із сервером (у тій же стійці або в межах допустимої відстані носія, що використовується).

Можна стверджувати, що безпосередньо прикріплене сховище (DAS) працює швидше ніж будь-які інші методи зберігання. Це пов'язано з тим, що він не пов'язаний з деякими витратами передачі даних через мережу (вся передача даних відбувається на виділеному з'єднанні між сервером та пристроєм зберігання. В основному його послідовно підключений SCSI або SAS). Однак через останні поліпшення в волоконному каналі та інших механізмах кешування SAN також забезпечує кращу швидкість, подібну до DAS, і в деяких випадках перевищує швидкість, що надається DAS.

Перш ніж увійти в SAN, давайте розібратися в декількох типах і методах мультимедіа, які використовуються для з'єднання пристроїв зберігання даних (коли я говорю про пристрої зберігання даних, будь ласка, не розглядайте його як один жорсткий диск. Візьміть його як масив дисків, можливо, на на якомусь рівні RAID (вважайте це чимось на зразок Dell MD1200).

Що таке SAS (Serial Attached SCSI), FC (Fibre Channel) та iSCSI (Internet Small Computer System Interface)?

Традиційно пристрої SCSI, такі як внутрішній жорсткий диск, підключаються до спільної паралельної шини SCSI. Це означає, що всі підключені пристрої будуть використовувати одну й ту саму шину для надсилання/отримання даних. Але спільні паралельні з'єднання не дуже хороші для високої точності і створюють проблеми високошвидкісних передачах. Однак послідовне з'єднання між пристроєм та сервером може збільшити загальну пропускну здатність передачі даних. SAS між пристроями зберігання та серверами використовує виділений 300 МБ/сек на диск. Подумайте про шину SCSI, яка має однакову швидкість всіх підключених пристроїв.

SAS використовує ті самі команди SCSI для надсилання та отримання даних із пристрою. Також, будь ласка, не думайте, що SCSI використовується лише для внутрішнього сховища. Він також використовується для підключення зовнішнього пристрою для зберігання до сервера.

Якщо продуктивність передачі даних та надійність є вибором, то використання SAS – найкраще рішення. З точки зору надійності та частоти помилок диски SAS набагато кращі в порівнянні зі старими дисками SATA. SAS був розроблений з урахуванням продуктивності, завдяки якій він є повнодуплексним. Це означає, що дані можуть бути надіслані та прийняті одночасно з пристрою, що використовує SAS. Також один хост-порт SAS може підключатися до кількох дисків SAS за допомогою розширювачів. SAS використовує передачу даних точка-точка, використовуючи послідовний зв'язок між пристроями (пристроями зберігання, такими як дискові накопичувачі та дискові масиви) та хостами.

Перше покоління SAS забезпечило швидкість 3Gb/s. Друге покоління SAS покращило це до 6 Гбіт/с. І третє покоління (яке нині використовується багатьма організаціями для екстремально високої пропускної спроможності) покращило це до 12 Гбіт/с.

Протокол Fibre Channel

Fibre Channel – відносно нова технологія міжз'єднань, що використовується для швидкої передачі даних. Основна мета його конструкції – забезпечити передачу даних з вищими швидкостями з дуже низькою/незначною затримкою. Він можна використовуватиме з'єднання робочих станцій, периферійних пристроїв, масивів зберігання тощо.

Основним фактором, який відрізняє оптоволоконний канал від іншого методу з'єднання, є те, що він може керувати як мережею, так і зв'язком вводу-виводу по одному каналу з використанням тих самих адаптерів.

ANSI (Американський національний інститут стандартів) стандартизував канал Fiber протягом 1988 року. Коли говоримо, що Fiber (в каналі Fiber) не думає, що він підтримує лише середовище оптичного волокна. Fiber — термін, який використовується для будь-якого носія, який використовується для з'єднання протоколу волоконного каналу. Ви можете навіть використовувати мідний провід для більш низької вартості.

Зверніть увагу на те, що стандарт волоконних каналів від ANSI підтримує мережеву взаємодію, зберігання та передачу даних. Канал Fiber не знає тип даних, які ви передаєте. Він може відправляти команди SCSI, інкапсульовані в кадр волоконного каналу (у нього немає власних команд для введення-виведення для відправлення та отримання пам'яті). Основна перевага полягає в тому, що він може включати поширені протоколи, такі як SCSI і IP всередині.

Нижче наведені компоненти з'єднання волоконного каналу. Вимога нижче мінімальна для досягнення одноточкового з'єднання. Зазвичай це може бути використане для прямого з'єднання між масивом зберігання і хостом.

• HBA (адаптер основної шини) з портом Fibre Channel
• Драйвер для картки HBA
• Кабелі для з'єднання пристроїв у каналі волоконно-оптичного каналу HBA

Як згадувалося раніше, протокол SCSI інкапсулюється усередині волоконного каналу. Таким чином, зазвичай, дані SCSI повинні бути змінені в іншому форматі, який волоконний канал може доставити в пункт призначення. І коли одержувач отримує дані, він передає його SCSI.

Можливо, ви думаєте, чому нам потрібне це зіставлення та перепризначення, чому ми не можемо безпосередньо використовувати SCSI для доставки даних. Це з тим, що SCSI неспроможна доставляти дані великі відстані до великої кількості пристроїв (чи великої кількості хостів).

Канал волокна можна використовувати для з'єднання систем до 10 км (якщо вони використовуються з оптичними волокнами, ви можете збільшити цю відстань за рахунок наявності повторювачів між ними). І ви також можете передавати дані у розмірі 30 м за допомогою мідного дроту для зниження вартості в каналі волокна.

З появою комутаторів оптоволоконних каналів від багатьох великих постачальників, підключення великої кількості пристроїв зберігання та серверів стало легким завданням (за умови, що у вас є бюджет для інвестицій). Мережева здатність волоконного каналу призвела до передового впровадження SAN (Storage Area Networks) для швидкого, довгого та надійного доступу до даних. Більшість обчислювального середовища (яка вимагає швидкої передачі великих обсягів даних) використовує волоконно-оптичний канал SAN з оптоволоконними кабелями.

Поточний стандарт волоконного каналу (званий 16GFC) може передавати дані зі швидкістю 1600 МБ/с (не забувайте, що цей стандарт було випущено у 2011 році). Очікується, що майбутні стандарти в найближчі роки забезпечать швидкість 3200 Мбайт/с та 6400 Мбайт/с.

Інтерфейс iSCSI (інтерфейс для роботи з малими комп'ютерами)

iSCSI - це не що інше, як стандарт на основі IP для з'єднання масивів та вузлів зберігання. Він використовується для перенесення трафіку SCSI через IP-мережі. Це найпростіше і дешеве рішення (хоч і не найкраще) для підключення до пристрою.

Це відмінна технологія для зберігання, що не залежить від розташування. Оскільки він може встановити з'єднання з пристроєм для зберігання даних з використанням локальних мереж, глобальної мережі. Його стандарт міжмережевої взаємодії із мережею зберігання. Він не вимагає спеціальних кабелів та обладнання, як у випадку мережі волоконних каналів.

Для системи, яка використовує масив зберігання з iSCSI, сховище відображається як локально підключений диск. Ця технологія з'явилася після волоконного каналу та була широко прийнята завдяки низькій вартості.

Це мережевий протокол, який виконується поверх TCP/IP. Ви можете здогадатися, що це не дуже хороша продуктивність у порівнянні з оптоволоконним каналом (просто тому, що все працює через TCP без спеціального обладнання та змін у вашій архітектурі).

iSCSI вводить трохи навантаження на процесор на сервері, тому що сервер повинен виконувати додаткову обробку для всіх запитів на зберігання через мережу за допомогою звичайного TCP.

iSCSI має такі недоліки, порівняно з оптоволоконним каналом

• iSCSI вводить трохи більше латентності в порівнянні з оптоволоконним каналом через накладні витрати на заголовки IP
• Програми бази даних мають невеликі операції читання та записи, які, коли вони виконуються на iSCSI,
  iSCSI, коли виконується в тій же локальній мережі, яка містить інший звичайний трафік (інший інфраструктурний трафік, відмінний від iSCSI), призведе до затримки читання/запису або низької продуктивності.
• Максимальна швидкість/пропускна здатність обмежена швидкістю вашого Ethernet та мережі. Навіть якщо ви поєднуєте кілька посилань, він не масштабується до рівня волоконного каналу.

NAS (мережеве сіткове)

Найпростішим визначенням NAS є «Будь-який сервер, який має власне сховище з іншими в мережі та виступає як файловий сервер, є найпростішою формою NAS».

Будь ласка, зверніть увагу, що Network Attached Storage спільно використовує файли по мережі. Не пристрій зберігання даних через мережу.

NAS буде використовувати з'єднання Ethernet для обміну файлами по мережі. Пристрій NAS матиме IP-адресу, а потім буде доступний через мережу через цю IP-адресу. Коли ви отримуєте доступ до файлів на файловому сервері у системі Windows, це в основному NAS.

Основна відмінність полягає в тому, як комп'ютер або сервер обробляє конкретне сховище. Якщо комп'ютер розглядає сховище як частину себе (подібно до того, як ви приєднуєте DAS до вашого сервера), тобто, якщо процесор сервера відповідає за керування прикріпленим сховищем, це буде свого роду DAS. І якщо комп'ютер/сервер розглядає сховище, прикріплене як інший комп'ютер, який ділиться своїми даними через мережу, це NAS.

Прямо підключене сховище (DAS) можна як будь-який інший периферійний пристрій, таке як клавіатура миші тощо. буд. Так як сервер / комп'ютер — це пряме пристрій зберігання даних. Однак NAS - це ще один сервер або сказати, що обладнання має власні обчислювальні функції, які можуть спільно використовувати власне сховище з іншими.

Навіть SAN-сховище також можна розглядати як обладнання, що має власну обчислювальну потужність. Таким чином, основна відмінність між NAS, SAN та DAS полягає в тому, як бачить сервер/комп'ютер. Пристрій для зберігання даних DAS з'являється на сервері як частина самого себе. Сервер бачить його, як свою фізичну частину. Хоча сховище DAS не може знаходитися всередині сервера (зазвичай це інший пристрій зі своїм власним масивом зберігання), сервер бачить його як свою внутрішню частину (сховище DAS з'являється на сервері як власне внутрішнє сховище)

Коли ми говоримо про NAS, нам слід назвати їх акціями, а не пристроями зберігання. Оскільки NAS з'являється на сервері як спільна папка замість спільного пристрою в мережі. Не забувайте, що NAS пристрої самі по собі є комп'ютерами, які можуть ділитися своїм сховищем з іншими. Коли ви спільно використовуєте папку з контролем доступу за допомогою SAMBA, її NAS.

Хоча NAS – більш дешевий варіант для ваших потреб у зберіганні. Це дійсно не підходить для високопродуктивної програми рівня підприємства. Ніколи не думайте про використання сховищ баз даних (яке має бути високопродуктивним) з NAS. Основним недоліком використання NAS є проблема з продуктивністю та залежність від мережі (у більшості випадків LAN, яка використовується для звичайного трафіку, також використовується для спільного використання сховища з NAS, що робить його більш перевантаженим).

Коли ви спільно експортуєте NFS через мережу, це також форма NAS.

NAS - це не що інше, як пристрій /equipmet/server, підключений до мережі TCP/IP, який має власне сховище з іншими. Якщо ви копаєте трохи глибше, коли запит на читання/запис файлу відправляється на загальний ресурс NAS, підключений до сервера, запит відправляється у вигляді систем CIFS (загальна інтернет-файлова система) або мережа NFS (Network File System). Приймаюча сторона (пристрій NAS) при прийомі запиту NFS, CIFS потім перетворює його на набір команд локального сховища вводу-виводу. Саме тому NAS-пристрій має власну обчислювальну потужність.

Таким чином, NAS - це сховище на рівні файлів (оскільки в основному це технологія обміну файлами). Це з тим, що він приховує фактичну файлову систему під капотом. Це дає користувачам інтерфейс доступу до його спільної пам'яті за допомогою NFS або CIFS.

Загальне використання NAS, яке ви можете знайти, надати кожному користувачеві домашній каталог. Ці домашні каталоги зберігаються на пристрої NAS і монтуються на комп'ютер, де користувач входить до системи. Оскільки домашній каталог доступний у мережі, користувач може входити до системи з будь-якого комп'ютера у мережі.

Переваги NAS

• NAS має менш складну архітектуру порівняно з SAN
• Його дешевше розгортати у існуючій архітектурі.
• У вашій архітектурі не потрібно жодних змін, тому що звичайна мережа TCP/IP є єдиною вимогою

Недоліки NAS

• NAS повільний
• Низька пропускна здатність та висока латентність, завдяки чому її не можна використовувати для високопродуктивних додатків

Повернення до SAN

Тепер давайте повернемося до обговорення SAN (мережі зберігання даних), які ми розпочали раніше на початку.

Першим і найважливішим завданням для розуміння SAN (крім того, що ми вже обговорювали на початку) є той факт, що це рішення для зберігання на рівні блоків. І SAN оптимізовано для великого обсягу передачі рівня блоку даних. SAN найкраще працює при використанні із середовищем волоконного каналу (оптичні волокна та комутатор волоконного каналу).

Назва "Мережа зберігання даних" передбачає, що сховище знаходиться у власній виділеній мережі. Хости можуть підключати пристрій зберігання до себе, використовуючи або Fibre Channel, мережу TCP/IP (SAN використовує iSCSI при використанні мережею tcp/ip).

SAN можна як технологію, яка поєднує у собі найкращі функції як DAS, і NAS. Якщо ви пам'ятаєте, DAS з'являється на комп'ютері як свій власний пристрій для зберігання даних і добре відомо, DAS також є рішенням для зберігання на рівні блоків (якщо ви пам'ятаєте, ми ніколи не говорили про CIFS або NFS під час DAS). NAS відомий своєю гнучкістю, основним доступом через мережу, контролем доступу тощо. SAN поєднує в собі найкращі можливості обох цих світів, тому що…

• SAN-сховище також з'являється на сервері як власний пристрій зберігання даних
• Його рішення для зберігання на рівні блоків
• Хороша продуктивність/швидкість
• Мережеві функції за допомогою iSCSI

SAN і NAS не є конкуруючими технологіями, але призначені для різних потреб та завдань. Оскільки SAN є рішення для зберігання лише на рівні блоків, воно найкраще підходить для зберігання даних із високої продуктивністю, зберігання електронної пошти тощо. буд.

SAN являє собою виділену мережу пристроїв зберігання (може включати накопичувачі на магнітних стрічках, масиви RAID-масивів і т. д.), які працюють разом, щоб забезпечити чудове зберігання на рівні блоків. У той час як NAS - це один пристрій/сервер/обчислювальний пристрій, він використовує власне сховище по мережі.

Основні відмінності між SAN та NAS

SAN	NAS
Доступ до даних на рівні блоків	Доступ до даних рівня файлу
Канал Fiber є основним носієм, який використовується з SAN.	Ethernet - це основний носій, що використовується з NAS
SCSI є основним протоколом введення-виводу	NFS / CIFS використовується як основний протокол введення-виведення в NAS
Сховище SAN відображається на комп'ютері як власне сховище	Завантаження NAS як спільна папка на комп'ютер
Він може мати відмінну швидкість та продуктивність при використанні зі світловодами	Іноді це може погіршити продуктивність, якщо мережа використовується для інших речей (що зазвичай має місце)
Використовується головним чином для зберігання даних рівня вищого рівня продуктивності	Використовується для невеликих операцій читання та запису на великі відстані

У справі пізнання SAN зіткнувся з певною перешкодою – важкодоступністю базової інформації. У питанні вивчення інших інфраструктурних продуктів, з якими доводилося зіштовхуватися, простіше – є пробні версії ПЗ, можливість встановити їх на віртуальній машині, є купа підручників, референс гайдів та блогів на тему. Cisco і Microsoft клепають дуже якісні підручники, MS ще сяк-так причесал свою пекельну горищну комору під назвою technet, навіть по VMware є книга, нехай і одна (і навіть російською мовою!), причому з ККД близько 100%. Вже і за самими пристроями зберігання даних можна отримати інформацію з семінарів, маркетингових заходів та документів, форумів. По мережі ж зберігання – тиша та мертві з косами стояти. Я знайшов два підручники, але купити не наважився. Це "Storage Area Networks For Dummies" (є і таке, виявляється. Дуже допитливі англомовні "чайники" в цільовій аудиторії, мабуть) за півтори тисячі рублів і "Distributed Storage Networks: Architecture, Protocols and Management" - виглядає надійніше, але 8200р при знижці 40%. Разом із цією книгою Ozon рекомендує також книгу «Мистецтво цегляної кладки».

Що порадити людині, яка вирішить з нуля вивчити хоча б теорію організації мережі зберігання даних, я не знаю. Як показала практика, навіть дорогі курси можуть дати на виході нуль. Люди, що стосуються SAN поділяються на три категорії: ті, хто взагалі не знає що це, хто знає, що таке явище просто є і ті, хто на питання «навіщо в мережі зберігання робити дві і більше фабрики» дивляться з таким подивом, ніби їх запитали щось на кшталт «навіщо квадрату чотири кути?».

Спробую заповнити прогалину, якої не вистачало мені – описати базу та описати просто. Розглядатиму SAN на базі її класичного протоколу - Fibre Channel.

Отже, SAN - Storage Area Network- призначена для консолідації дискового простору серверів спеціально виділених дискових сховищах. Суть у тому, що так дискові ресурси економніше використовуються, легше керуються і мають більшу продуктивність. А в питаннях віртуалізації та кластеризації, коли кільком серверам потрібен доступ до одного дискового простору, подібні системи зберігання даних взагалі незамінна штука.

До речі, в термінологіях SAN завдяки перекладу російською виникає деяка плутанина. SAN у перекладі означає «мережа зберігання даних» - СГД. Проте класично у Росії під СХД розуміється термін «система зберігання даних», тобто саме дисковий масив ( Storage Array), який у свою чергу складається з Керуючого блоку ( Storage Processor, Storage Controller) та дискових полиць ( Disk Enclosure). Проте, в оригіналі Storage Array є лише частиною SAN, хоча часом найзначнішою. У Росії її отримуємо, що СХД (система зберігання даних) є частиною СХД (мережі зберігання даних). Тому пристрої зберігання зазвичай називають СГД, а мережа зберігання - SAN (і плутають із «Sun», але це вже дрібниці).

Компоненти та терміни

Технологічно SAN складається з наступних компонентів:

1. Вузли, ноди (nodes)

• Дискові масиви (системи зберігання даних) - сховища (таргети)
• Сервери - споживачі дискових ресурсів (ініціатори).

2. Мережева інфраструктура

• Комутатори (і маршрутизатори у складних та розподілених системах)
• Кабелі

Особливості

Якщо не вдаватися до деталей, протокол FC схожий на протокол Ethernet з WWN-адресами замість MAC-адрес. Тільки замість двох рівнів Ethernet має п'ять (з яких четвертий поки не визначений, а п'ятий - це мапінг між транспортом FC і високорівневими протоколами, які по цьому FC передаються - SCSI-3, IP). Крім того, в комутаторах FC використовують спеціалізовані сервіси, аналоги яких для IP мереж зазвичай розміщуються на серверах. Наприклад: Domain Address Manager (відповідає за призначення Domain ID комутаторам), Name Server (зберігає інформацію про підключені пристрої, такий собі аналог WINS в межах комутатора) і т.д.

Для SAN ключовими параметрами є як продуктивність, а й надійність. Адже якщо сервер БД пропаде мережу на пару секунд (або навіть хвилин) - ну неприємно буде, але пережити можна. А якщо на цей же час відвалиться жорсткий диск з базою або з ОС, ефект буде значно серйознішим. Тому всі компоненти SAN зазвичай дублюються - порти в пристроях зберігання та серверах, комутатори, лінки між комутаторами та, ключова особливість SAN, у порівнянні з LAN - дублювання на рівні всієї інфраструктури мережевих пристроїв - фабрики.

Фабрика (fabric- що взагалі у перекладі з англійської тканину, т.к. термін символізує переплетену схему підключення мережевих і кінцевих пристроїв, але термін вже устоявся) - сукупність комутаторів, з'єднаних між собою міжкомутаторними лінками ( ISL - InterSwitch Link).

Високонадійні SAN обов'язково включають дві (іноді й більше) фабрики, оскільки фабрика як така - єдина точка відмови. Ті, хто хоч раз спостерігав наслідки кільця в мережі або спритного руху клавіатури, що вводить в комусь комутатор рівня ядра або розподілу невдалою прошивкою або командою, розуміють про що йдеться.

Фабрики можуть мати ідентичну (дзеркальну) топологію чи відрізнятися. Наприклад, одна фабрика може складатися з чотирьох комутаторів, а інша - з одного, і до неї можуть бути підключені тільки висококритичні вузли.

Топологія

Розрізняють такі види топологій фабрики:

Каскад- Комутатори з'єднуються послідовно. Якщо їх більше двох, то ненадійно та непродуктивно.

Кільце- Замкнений каскад. Надійніше просто каскаду, хоча за великої кількості учасників (більше 4) продуктивність страждатиме. А одиничний збій ISL або одного з комутаторів перетворює схему на каскад з усіма.

Сітка (mesh). Буває Full Meshколи кожен комутатор з'єднується з кожним. Характерно високою надійністю, продуктивністю та ціною. Кількість портів, потрібне під міжкомутаторні зв'язки, з додаванням кожного нового комутатора до схеми зростає експоненційно. За певної конфігурації просто не залишиться портів під вузли - всі будуть зайняті під ISL. Partial Mesh- Будь-яке хаотичне об'єднання комутаторів.

Центр/периферія (Core/Edge)- близька до класичної топології LAN, але рівня розподілу. Нерідко сховища підключаються до Core-комутаторів, а сервери – до Edge. Хоча для сховищ може бути виділений додатковий шар (tier) Edge комутаторів. Також сховища і сервери можуть бути підключені в один комутатор для підвищення продуктивності і зниження часу відгуку (це називається локалізацією). Така топологія характеризується гарною масштабованістю та керованістю.

Зонінг (зонування, zoning)

Ще одна характерна для технологія SAN. Це визначення пар ініціатор-таргет. Тобто, яким серверам до яких дискових ресурсів можна мати доступ, щоб не вийшло, що всі сервери бачать усі можливі диски. Досягається це так:

• вибрані пари додаються до попередньо створених на комутаторі зони (zones);
• зони містяться в набори зон (zone set, zone config), створені там же;
• набори зон активуються у фабриці.

Для початкового посту на тему SAN, думаю, достатньо. Перепрошую за різномасні картинки - самому намалювати на роботі поки немає можливості, а вдома ніколи. Була думка намалювати на папері та сфотографувати, але вирішив, що краще так.

Наостанок, як постскриптум, перерахую базові рекомендації щодо проектування фабрики SAN.

• Проектувати структуру так, щоб між двома кінцевими пристроями було не більше трьох комутаторів.
• Бажано, щоб фабрика складалася не більше ніж з 31 комутатора.
• Варто задавати Domain ID вручну перед введенням нового комутатора у фабрику - покращує керованість та допомагає уникнути проблем однакових Domain ID, у випадках, наприклад, перепідключення комутатора з однієї фабрики до іншої.
• Мати кілька рівноцінних маршрутів між кожним пристроєм зберігання та ініціатором.
• У разі невизначених вимог до продуктивності виходити із співвідношення кількості Nx-портів (для кінцевих пристроїв) до кількості ISL-портів як 6:1 (рекомендація EMC) або 7:1 (рекомендація Brocade). Дане співвідношення називається перепідпискою (oversubscription).
• Рекомендації щодо зонінгу:
  - використовувати інформативні імена зон та зон-сетів;
  - Використовувати WWPN-зонінг, а не Port-based (заснований на адресах пристроїв, а не фізичних портів конкретного комутатора);
  - Кожна зона – один ініціатор;
  - Чистити фабрику від «мертвих» зон.
• Мати резерв вільних портів та кабелів.
• Мати резерв обладнання (комутатори). На рівні сайту – обов'язково, можливо на рівні фабрики.

Що це?
Мережа зберігання даних, або Storage Area Network - це система, що складається з власне пристроїв зберігання даних - дискових, або RAID - масивів, стрічкових бібліотек та іншого середовища передачі даних і підключених до неї серверів. Зазвичай використовується досить великими компаніями, що мають розвинену ІТ інфраструктуру, для надійного зберігання даних та швидкісного доступу до них.
Спрощено, СГД - це система, що дозволяє роздавати серверам надійні швидкі диски ємності, що змінюється з різних пристроїв зберігання даних.

Трохи теорії.
Сервер до сховища даних можна підключити кількома способами.
Перший і найпростіший - DAS, Direct Attached Storage (пряме підключення), легко ставимо диски в сервер, або масив в адаптер сервера - і отримуємо багато гігабайт дискового простору з порівняно швидким доступом, і при використанні RAID-масиву - достатню надійність, хоча списи на тему надійності вже давно.
Однак таке використання дискового простору не оптимальне – на одному сервері місце закінчується, на іншому його ще багато. Вирішення цієї проблеми - NAS, Network Attached Storage (сховище, підключене по мережі). Однак за всіх переваг цього рішення - гнучкості та централізованого управління - є один істотний недолік - швидкість доступу, ще не в усіх організаціях впроваджена мережа 10 гігабіт. І ми підходимо до мережі зберігання даних.

Головна відмінність SAN від NAS (крім порядку букв в абревіатурах) - це те, яким чином бачаться ресурси, що підключаються на сервері. Якщо NAS ресурси підключаються протоколам NFS чи SMB , в SAN ми отримуємо підключення до диску, з яким можемо працювати лише на рівні операцій блочного вводу-вывода, що набагато швидше мережного підключення (плюс контролер масиву з великим кешем додає швидкості багатьох операціях).

Використовуючи SAN, ми поєднуємо переваги DAS – швидкість і простоту, і NAS – гнучкість та керованість. Плюс отримуємо можливість масштабування систем зберігання доти, доки вистачає грошей, паралельно вбиваючи одним пострілом ще кілька зайців, яких одразу не видно.

* знімаємо обмеження на дальність підключення SCSI-пристроїв, які зазвичай обмежені дротом в 12 метрів,
* зменшуємо час резервного копіювання,
* можемо вантажитися з SAN,
* у разі відмови від NAS розвантажуємо мережу,
* Отримуємо велику швидкість введення-виведення за рахунок оптимізації на стороні системи зберігання,
* Отримуємо можливість підключати кілька серверів до одного ресурсу, то нам дає наступних двох зайців:
o на повну використовуємо можливості VMWare - наприклад VMotion (міграцію віртуальної машини між фізичними) і що з ними,
o можемо будувати стійкі до відмови кластери і організовувати територіально розподілені мережі.

Що дає?
Крім освоєння бюджету оптимізації системи зберігання даних, ми отримуємо, крім того що я написав вище:

* збільшення продуктивності, балансування навантаження та високу доступність систем зберігання за рахунок кількох шляхів доступу до масивів;
* економію на дисках за рахунок оптимізації розташування інформації;
* прискорене відновлення після збоїв - можна створити тимчасові ресурси, розгорнути на них backup та підключити до них сервера, а самим без поспіху відновлювати інформацію, або перекинути ресурси на інші сервери та спокійно розбиратися з померлим залізом;
* зменшення час резервного копіювання - завдяки високій швидкості передачі можна бекапитися на стрічкову бібліотеку швидше, або взагалі зробити snapshot (миттєвий знімок) з файлової системи та спокійно архівувати його;
* дискове місце на вимогу - коли нам потрібно - завжди можна додати пару полиць у систему зберігання даних.
* зменшуємо вартість зберігання мегабайта інформації - звісно, ​​є певний поріг, з якого ці системи рентабельні.
* надійне місце зберігання mission critical і business critical даних (без яких організація неспроможна існувати й нормально работать).
* окремо хочу згадати VMWare - повністю всі фішки на кшталт міграції віртуальних машин з сервера на сервер та інших смакот доступні тільки на SAN.

Із чого це складається?
Як я писав вище - СГД складається з пристроїв зберігання, середовища передачі та підключених серверів. Розглянемо по порядку:

Системи зберігання данихзазвичай складаються з жорстких дисків і контролерів, в системі, що поважає себе, як правило всього по 2 - по 2 контролери, по 2 шляхи до кожного диска, по 2 інтерфейси, по 2 блоки живлення, по 2 адміністратора. З найбільш шанованих виробників систем слід згадати HP, IBM, EMC та Hitachi. Тут процитую одного представника EMC на семінарі – «Компанія HP робить чудові принтери. Ось нехай вона їх і робить! Підозрюю, що у HP теж дуже люблять EMC. Конкуренція між виробниками неабияка, втім, як і скрізь. Наслідки конкуренції - іноді осудні ціни за мегабайт системи зберігання та проблеми із сумісністю та підтримкою стандартів конкурентів, особливо у старого обладнання.

Середовище передачі. Зазвичай SAN будують на оптиці, це дає на даний момент швидкість 4, місцями 8 гігабіт на канал. При побудові раніше використовувалися спеціалізовані хаби, зараз більше свитчі, переважно від Qlogic, Brocade, McData і Cisco (останні два на майданчиках не бачив жодного разу). Кабелі використовуються традиційні для оптичних мереж - одномодові та багатомодові, одномодові більш далекобійні.
Усередині використовується FCP - Fibre Channel Protocol, транспортний протокол. Як правило всередині нього бігає класичний SCSI, а FCP забезпечує адресацію та доставку. Є варіант із підключенням по звичайній мережі та iSCSI, але він зазвичай використовує (і сильно вантажить) локальну, а не виділену під передачу даних мережу, і вимагає адаптерів з підтримкою iSCSI, та й швидкість повільніше, ніж по оптиці.

Є ще розумне слово топологія, яке зустрічається у всіх підручниках з SAN. Топологій кілька, найпростіший варіант - точка-точка (point to point), що з'єднуємо між собою 2 системи. Це не DAS, а сферичний кінь у вакуумі найпростіший варіант SAN. Далі йде керована петля (FC-AL), вона працює за принципом «передай далі» - передавач кожного пристрою з'єднаний із наступником наступного, пристрої замкнуті в кільце. Довгі ланцюжки мають властивість довго ініціалізуватися.

Та й останній варіант - комутована структура (Fabric), вона створюється за допомогою свитчів. Структура підключень будується в залежності від кількості портів, що підключаються, як і при побудові локальної мережі. Основний принцип побудови – всі шляхи та зв'язки дублюються. Це означає, що до кожного пристрою в мережі є щонайменше 2 різні шляхи. Тут також вживається слово топологія, у сенсі організації схеми підключень пристроїв і з'єднання свитчів. При цьому зазвичай свитчі налаштовуються так, що сервера не бачать нічого, крім призначених їм ресурсів. Це досягається за рахунок створення віртуальних мереж і називається зонуванням, найближча аналогія – VLAN. Кожному пристрою в мережі надається аналог MAC-адреси в мережі Ethernet, він називається WWN - World Wide Name. Він присвоюється кожному інтерфейсу та кожному ресурсу (LUN) систем зберігання даних. Масиви та свитчі вміють розмежовувати доступ WWN для серверів.

Серверапідключають до СГД через HBA - Host Bus Adapter -и. За аналогією з мережевими картами існують одно-, дво-, чотирипортові адаптери. Кращі собаківники рекомендують ставити по 2 адаптери на сервер, це дозволяє як здійснювати балансування навантаження, так і забезпечує надійність.

А далі на системах зберігання нарізаються ресурси, вони ж диски (LUN) для кожного сервера і залишається місце в запас, все включається, установники системи прописують топологію, ловлять глюки в налаштуванні свитків і доступу, все запускається і живе довго і щасливо *.
Я спеціально не торкаюся різних типів портів в оптичній мережі, кому треба – той і так знає чи прочитає, кому не треба – тільки забивати голову. Але як завжди, при неправильно встановленому типі порту нічого не працюватиме.

З досвіду.
Зазвичай під час створення SAN замовляють масиви з кількома типами дисків: FC для швидкісних додатків, і SATA чи SAS для дуже швидких. Таким чином виходять дві дискові групи з різною вартістю мегабайта - дорога і швидка, і повільна і сумна дешева. На швидку вішаються зазвичай усі бази даних та інші додатки з активним і швидким введенням-виводом, на повільну - файлові ресурси та інше.

Якщо SAN створюється з нуля – є сенс будувати її на основі рішень від одного виробника. Справа в тому, що, незважаючи на заявлену відповідність стандартам, існують підводні граблі проблеми сумісності обладнання, і не факт, що частина обладнання працюватиме один з одним без танців з бубном та консультацій із виробниками. Зазвичай для утряски таких проблем простіше покликати інтегратора і дати йому грошей, ніж спілкуватися з стрілками виробниками, що переводять одна на одну.

Якщо SAN створюється на базі існуючої інфраструктури – все може бути складно, особливо якщо є старі SCSI масиви та зоопарк старої техніки від різних виробників. У цьому випадку є сенс кликати на допомогу страшного звіра інтегратора, який розплутуватиме проблеми сумісності та наживатиме третю віллу на Канарах.

Часто під час створення СХД фірми не замовляють підтримку системи виробником. Зазвичай це виправдано, якщо фірма має штат грамотних компетентних адмінів (які вже 100 разів назвали мене чайником) і неабиякий капітал, що дозволяє закупити запасні комплектуючі в потрібних кількостях. Однак компетентних адмінів зазвичай переманюють інтегратори (сам бачив), а грошей на закупівлю не виділяють, і після збоїв починається цирк із криками «Всіх уволю!» замість дзвінка в сапорт і приїзду інженера із запасною деталлю.

Підтримка зазвичай зводиться до заміни померлих дисків та контролерів, та й до додавання до системи полиць з дисками та нових серверів. Багато клопотів буває після раптової профілактики системи силами місцевих фахівців, особливо після повного зупинення та розбирання-складання системи (і таке буває).

Про VMWare. Наскільки я знаю (спеці з віртуалізації поправте мене), тільки VMWare і Hyper-V мають функціонал, що дозволяє «на льоту» перекидати віртуальні машини між фізичними серверами. І для його реалізації потрібно, щоб усі сервери, між якими переміщується віртуальна машина, були приєднані до одного диска.

Про кластери. Аналогічно випадку з VMWare, відомі мені системи побудови відмовостійких кластерів (Sun Cluster, Veritas Cluster Server) - вимагають підключеного до всіх систем сховища.

Поки писав статтю – у мене запитали – у які RAIDи зазвичай об'єднують диски?
У моїй практиці зазвичай робили або по RAID 1+0 на кожну дискову полицю з FC дисками, залишаючи 1 запасний диск (Hot Spare) і нарізали з цього шматка LUN під завдання, або робили RAID5 з повільних дисків, знову ж таки залишаючи 1 диск на заміну. Але тут питання складне, і зазвичай спосіб організації дисків у масиві вибирається під кожну ситуацію та обґрунтовується. Та ж EMC, наприклад, йде ще далі, і у них є додаткове налаштування масиву під програми, що працюють з ним (наприклад під OLTP, OLAP). З рештою вендорів я так глибоко не копав, але здогадуюсь, що тонке налаштування має кожен.

* до першого серйозного збою, після нього зазвичай купується підтримка у виробника чи постачальника системи.
Оскільки в пісочниці коментарів немає, закину у власний блог.

З повсякденним ускладненням мережевих комп'ютерних систем та глобальних корпоративних рішень світ почав вимагати технологій, які дали б поштовх до відродження корпоративних систем зберігання інформації (сторедж-систем). І ось одна єдина технологія приносить у світову скарбницю досягнень в області сторедж небачену раніше швидкодію, колосальні можливості масштабування та виняткові переваги загальної вартості володіння. Обставини, що сформувалися з появою стандарту FC-AL (Fibre Channel - Arbitrated Loop) та SAN (Storage Area Network), що розвивається на його основі, обіцяють революцію у дата-орієнтованих технологіях комп'ютера.

"The most significant development in storage we"ve seen in 15 years"

Data Communications International, March 21, 1998

Формальне визначення SAN у трактуванні Storage Network Industry Association (SNIA):

«Мережа, головним завданням якої є передача даних між комп'ютерними системами та пристроями зберігання даних, а також між самими сторедж-системами. SAN складається з комунікаційної інфраструктури, яка забезпечує фізичний зв'язок, а також відповідає за рівень управління (management layer), який поєднує зв'язки, сторедж та комп'ютерні системи, здійснюючи передачу даних безпечно та надійно».

SNIA Technical Dictionary, copyright Storage Network Industry Association, 2000

Варіанти організації доступу до сторедж-систем

Розрізняють три основні варіанти організації доступу до систем зберігання:

• SAS (Server Attached Storage), сторедж, приєднаний до сервера;
• NAS (Network Attached Storage), сторедж, підключений до мережі;
• SAN (Storage Area Network), мережа зберігання даних.

Розглянемо топології відповідних сторедж-систем та їх особливості.

SAS

Сторедж-система приєднана до сервера. Знайомий всім традиційний спосіб підключення системи зберігання даних до високошвидкісного інтерфейсу в сервері, як правило, до паралельного SCSI інтерфейсу.

Рисунок 1. Server Attached Storage

Використання окремого корпусу для сторедж-системи у рамках топології SAS не є обов'язковим.

Основна перевага сторедж, приєднаного до сервера, у порівнянні з іншими варіантами - низька ціна та висока швидкодія з розрахунку один сторедж для одного сервера. Така топологія є оптимальною у разі використання одного сервера, через який організується доступ до масиву даних. Але в неї залишається низка проблем, які спонукали проектувальників шукати інші варіанти організації доступу до систем зберігання даних.

До особливостей SAS можна віднести:

• Доступ до даних залежить від ОС та файлової системи (загалом);
• Складність організації систем із високою готовністю;
• Низька вартість;
• Висока швидкодія у межах однієї ноди;
• Зменшення швидкості відгуку під час завантаження сервера, який обслуговує сторедж.

NAS

Сторедж-система, приєднана до мережі. Цей варіант організації доступу виник порівняно недавно. Основною його перевагою є зручність інтеграції додаткової системи зберігання даних у існуючі мережі, але сам по собі він не привносить будь-яких радикальних поліпшень в архітектуру сторедж. Фактично NAS є чистий файл-сервер, і сьогодні можна зустріти чимало нових реалізацій стореджів типу NAS на основі технології тонкого сервера (Thin Server).

Малюнок 2. Network Attached Storage.

Особливості NAS:

• Виділений файл-сервер;
• Доступ до даних не залежить від ОС та платформи;
• Зручність адміністрування;
• Максимальна простота встановлення;
• Низька масштабованість;
• Конфлікт із трафіком LAN/WAN.

Сторедж, побудований за технологією NAS, є ідеальним варіантом для дешевих серверів із мінімальним набором функцій.

SAN

Мережі зберігання даних почали інтенсивно розвиватися та впроваджуватися лише з 1999 року. Основою SAN є окрема від LAN/WAN мережа, яка служить для організації доступу до даних серверів та робочих станцій, що займаються їхньою прямою обробкою. Така мережа створюється на основі стандарту Fibre Channel, що дає сторедж-системам переваги технологій LAN/WAN та можливості щодо організації стандартних платформ для систем з високою готовністю та високою інтенсивністю запитів. Майже єдиним недоліком SAN сьогодні залишається відносно висока ціна компонентів, але при цьому загальна вартість володіння для корпоративних систем, побудованих з використанням технології мереж зберігання даних, є досить низькою.

3. Storage Area Network.

До основних переваг SAN можна віднести практично всі її особливості:

• Незалежність топології SAN від сторедж-систем та серверів;
• Зручне централізоване керування;
• відсутність конфлікту з трафіком LAN/WAN;
• Зручне резервування даних без завантаження локальної мережі та серверів;
• Висока швидкодія;
• Висока масштабованість;
• Висока гнучкість;
• Висока готовність та відмовостійкість.

Слід також зауважити, що ця технологія ще досить молода і найближчим часом вона повинна пережити чимало удосконалень у галузі стандартизації управління та способів взаємодії SAN підмереж. Але можна сподіватися, що це загрожує піонерам лише додатковими перспективами першості.

FC як основа побудови SAN

Подібно до LAN, SAN може створюватися з використанням різних топологій та носіїв. При побудові SAN може використовуватися як паралельний SCSI інтерфейс, так і Fibre Channel або, скажімо, SCI (Scalable Coherent Interface), але своєю популярністю SAN, що все зростає, зобов'язана саме Fibre Channel. У проектуванні цього інтерфейсу брали участь фахівці зі значним досвідом у розробці як канальних, так і мережевих інтерфейсів, і їм вдалося поєднати всі важливі позитивні риси обох технологій для того, щоб отримати щось революційно нове. Що саме?

Основні ключові особливості канальних:

• Низькі затримки
• Високі швидкості
• Висока надійність
• Топологія точка-точка
• Невеликі відстані між нодами
• Залежність від платформи

та мережевих інтерфейсів:

• Багатоточкові топології
• Великі відстані
• Висока масштабованість
• Низькі швидкості
• Великі затримки

об'єдналися у Fibre Channel:

• Високі швидкості
• Незалежність від протоколу (0-3 рівні)
• Великі відстані
• Низькі затримки
• Висока надійність
• Висока масштабованість
• Багатоточкові топології

Традиційно сторедж інтерфейси (те, що знаходиться між хостом та пристроями зберігання інформації) були перепоною на шляху до зростання швидкодії та збільшення обсягу систем зберігання даних. У той самий час прикладні завдання вимагають значного приросту апаратних потужностей, які, своєю чергою, тягнуть у себе потреба у збільшенні пропускну здатність інтерфейсів зв'язку з сторедж-системами. Саме проблеми побудови гнучкого високошвидкісного доступу до даних допомагають вирішити Fibre Channel.

Стандарт Fibre Channel був остаточно визначений за останні кілька років (з 1997-го по 1999-й), протягом яких була проведена колосальна робота щодо узгодження взаємодії виробників різних компонентів, і було зроблено все необхідне, щоб Fibre Channel перетворився з суто концептуальної технології на реальну, яка отримала підтримку у вигляді інсталяцій у лабораторіях та обчислювальних центрах. У 1997 році були спроектовані перші комерційні зразки наріжних компонентів для побудови SAN на базі FC, таких як адаптери, хаби, свічі та мости. Таким чином, вже починаючи з 1998 року FC використовується в комерційних цілях у діловій сфері, на виробництві та в масштабних проектах реалізації систем, критичних до відмов.

Fibre Channel – це відкритий промисловий стандарт високошвидкісного послідовного інтерфейсу. Він забезпечує підключення серверів та сторедж-систем на відстані до 10 км (при використанні стандартного оснащення) на швидкості 100 MB/s (на виставці Cebit"2000 були представлені зразки продукції, які використовують новий стандарт Fibre Channel зі швидкостями 200 MB/s на одне кільце, а в лабораторних умовах вже експлуатуються реалізації нового стандарту зі швидкостями 400 MB/s, що становить 800 MB/s при використанні подвійного кільця.(На момент публікації статті ряд виробників вже почав відвантажувати мережеві картки та свічки на FC 200 MB/s .) Fibre Channel одночасно підтримує цілу низку стандартних протоколів (серед яких TCP/IP і SCSI-3) при використанні одного фізичного носія, який потенційно спрощує побудову мережної інфраструктури, до того ж це надає можливості для зменшення вартості монтажу та обслуговування. використання окремих підмереж для LAN/WAN і SAN має ряд переваг і є рекомендованим за замовчуванням.

Однією з найважливіших переваг Fibre Channel поряд зі швидкісними параметрами (які, до речі, не завжди є головними для користувачів SAN та можуть бути реалізовані за допомогою інших технологій) є можливість роботи на великих відстанях та гнучкість топології, яка прийшла до нового стандарту з мережевих технологій. Таким чином, концепція побудови топології мережі зберігання даних базується на тих же принципах, що і традиційні мережі, як правило, на основі концентраторів та комутаторів, які допомагають запобігти падінню швидкості при зростанні кількості нід та створюють можливості зручної організації систем без жодної точки відмов.

Для кращого розуміння переваг та особливостей цього інтерфейсу наведемо порівняльну характеристику FC та Parallel SCSI у вигляді таблиці.

Таблиця 1. Порівняння технологій Fibre Channel та паралельного SCSI

У стандарті Fibre Channel передбачається використання різноманітних топологій, таких як точка-точка (Point-to-Point), кільце або FC-AL концентратор (Loop або Hub FC-AL), магістральний комутатор (Fabric/Switch).

Топологія point-to-point використовується для підключення одиночної системи до сервера.

Loop або Hub FC-AL - для під'єднання множинних стродж пристроїв до кількох хостів. При організації подвійного кільця збільшується швидкодія та відмовостійкість системи.

Комутатори використовуються для забезпечення максимальної швидкодії та відмовостійкості для складних, великих та розгалужених систем.

Завдяки гнучкості мережі в SAN закладена надзвичайно важлива особливість - зручна можливість побудови відмовостійких систем.

Пропонуючи альтернативні рішення для систем зберігання даних та можливості щодо об'єднання кількох стореджів для резервування апаратних засобів, SAN допомагає забезпечувати захист апаратно-програмних комплексів від апаратних збоїв. Для демонстрації наведемо приклад створення двонодової системи без крапок відмов.

Малюнок 4. No Single Point of Failure.

Побудова трьох-і більше нодових систем здійснюється простим додаванням до FC мережі додаткових серверів і підключенням їх до обох концентраторів/комутаторів).

При використанні FC побудова стійких до збоїв (disaster tolerant) систем стає прозорою. Мережеві канали і для сторедж, і для локальної мережі можна прокласти на основі оптоволокна (до 10 км і більше з використанням підсилювачів сигналу) як фізичного носія для FC, при цьому використовується стандартна апаратура, яка дозволяє значно зменшити вартість таких систем.

Завдяки можливості доступу до всіх компонентів SAN із будь-якої її точки ми отримуємо надзвичайно гнучко керовану мережу даних. При цьому слід помітити, що SAN забезпечує прозорість (можливість бачити) всіх компонентів аж до дисків в сторедж-системах. Ця особливість підштовхнула виробників компонентів до використання свого значного досвіду у побудові систем управління для LAN/WAN для того, щоб закласти широкі можливості моніторингу та управління у всі компоненти SAN. Ці можливості включають моніторинг і управління окремих нод, сторедж компонентів, корпусів, мережевих пристроїв і мережевих підструктур.

У системі управління та моніторингу SAN використовуються такі відкриті стандарти, як:

• SCSI command set
• SCSI Enclosure Services (SES)
• SCSI Self Monitoring Analysis and Reporting Technology (S.M.A.R.T.)
• SAF-TE (SCSI Accessed Fault-Tolerant Enclosures)
• Simple Network Management Protocol (SNMP)
• Web-Based Enterprise Management (WBEM)

Системи, побудовані з використанням технологій SAN, не тільки забезпечують адміністратору можливість стежити за розвитком та станом сторедж ресурсів, але й відкривають можливості моніторингу та контролю трафіку. Завдяки таким ресурсам програмні засоби управління SAN реалізують найефективніші схеми планування обсягу сторедж та балансування навантаження на компоненти системи.

Мережі зберігання даних чудово інтегруються у існуючі інформаційні інфраструктури. Їх впровадження не вимагає будь-яких змін у вже існуючих мережах LAN і WAN, а лише розширює можливості існуючих систем, позбавляючи їх завдань, орієнтованих на передачу великих обсягів даних. Причому при інтеграції та адмініструванні SAN дуже важливим є те, що ключові елементи мережі підтримують гарячу заміну та встановлення з можливостями динамічного конфігурування. Так що додати той чи інший компонент або здійснити його заміну адміністратор може, не вимикаючи систему. І весь цей процес інтеграції може бути візуально відображено у графічній системі управління SAN.

Розглянувши перераховані вище переваги, можна виділити ряд ключових моментів, які безпосередньо впливають на одну з основних переваг Storage Area Network - загальну вартість володіння (Total Cost Ownership).

Неймовірні можливості масштабування дозволяють підприємству, яке використовує SAN, вкладати гроші в сервери та сторедж у міру потреби. А також зберегти свої вкладення у вже інстальовану техніку за зміни технологічних поколінь. Кожен новий сервер буде мати можливість високошвидкісного доступу до стореджу і кожен додатковий гігабайт сторедж буде доступний всім серверам підмережі за командою адміністратора.

Прекрасні можливості щодо побудови відмовостійких систем можуть приносити пряму комерційну вигоду від мінімізації простоїв та рятувати систему у разі виникнення стихійного лиха чи якихось інших катаклізмів.

Керованість компонентів і прозорість системи надають можливість здійснювати централізоване адміністрування всіх ресурсів ресурсів, а це, у свою чергу, значно зменшує витрати на їх підтримку, вартість якої, як правило, становить понад 50% вартості обладнання.

Вплив SAN на прикладні задачі

Для того, щоб нашим читачам стало зрозуміліше, наскільки практично корисні технології, які розглядаються в цій статті, наведемо кілька прикладів прикладних завдань, які без використання мереж зберігання даних вирішувалися б неефективно, вимагали б колосальних фінансових вкладень або взагалі не вирішувалися стандартними методами.

Резервування та відновлення даних (Data Backup and Recovery)

Використовуючи традиційний SCSI інтерфейс, користувач при побудові систем резервування та відновлення даних стикається з низкою складних проблем, які можна дуже просто вирішити, використовуючи технології SAN та FC.

Таким чином, використання мереж зберігання даних виводить рішення задачі резервування та відновлення на новий рівень і надає можливість здійснювати бекап у кілька разів швидше, ніж раніше, без завантаження локальної мережі та серверів роботою з резервування даних.

Кластеризація серверів (Server Clustering)

Однією з типових завдань, котрим ефективно використовується SAN, є кластеризація серверів. Оскільки один із ключових моментів в організації високошвидкісних кластерних систем, які працюють з даними - це доступ до стореджів, то з появою SAN побудова багатонодових кластерів на апаратному рівні вирішується простим додаванням сервера з підключенням до SAN (це можна зробити, навіть не вимикаючи системи, оскільки свічі FC підтримують hot-plug). При використанні паралельного SCSI інтерфейсу, можливості по приєднанню та масштабованість якого значно гірше, ніж у FC, кластери, орієнтовані на обробку даних, було б важко зробити з кількістю нід більше двох. Комутатори паралельного SCSI – дуже складні та дорогі пристрої, а для FC це стандартний компонент. Для створення кластера, який не матиме жодної точки відмов, достатньо інтегрувати в дзеркальну систему SAN (технологія DUAL Path).

У рамках кластеризації одна з технологій RAIS (Redundant Array of Inexpensive Servers) здається особливо привабливою для побудови потужних систем інтернет-комерції, що масштабуються, та інших видів завдань з підвищеними вимогами до потужності. За словами Alistair A. Croll, співзасновника Networkshop Inc, використання RAIS виявляється досить ефективним: «Наприклад, за $12000-15000 ви можете купити близько шести недорогих одно-двопроцесорних (Pentium III) Linux/Apache серверів. Потужність, масштабованість і стійкість до відмови від такої системи буде значно вищою, ніж, наприклад, у одного чотирипроцесорного сервера на базі процесорів Xeon, а вартість однакова».

Одночасний доступ до відео та розподіл даних (Concurrent video streaming, data sharing)

Уявіть собі завдання, коли вам потрібно на кількох станціях редагувати відео або просто працювати над даними величезного обсягу. Передача файлу розміром 100GB по локальній мережі займе кілька хвилин, а загальна робота над ним буде дуже складним завданням. При використанні SAN кожна робоча станція та сервер мережі отримують доступ до файлу на швидкості, еквівалентній локальному високошвидкісному диску. Якщо вам потрібна ще одна станція/сервер для обробки даних, ви зможете її додати до SAN, не вимикаючи мережі, простим під'єднанням станції до SAN комутатора та наданням їй прав доступу до мереж. Якщо ж вас перестане задовольняти швидкодію підсистеми даних, ви зможете просто додати ще один сторедж і з використанням технології розподілу даних (наприклад, RAID 0) отримати вдвічі більшу швидкодію.

Основні компоненти SAN

Середа

Для з'єднання компонентів у рамках стандарту Fibre Channel використовують мідні та оптичні кабелі. Обидва типи кабелів можуть використовуватись одночасно при побудові SAN. Конверсія інтерфейсів здійснюється за допомогою GBIC (Gigabit Interface Converter) та MIA (Media Interface Adapter). Обидва типи кабелю сьогодні забезпечують однакову швидкість передачі. Мідний кабель використовується для коротких відстаней (до 30 метрів), оптичний як для коротких, так і для відстаней до 10 км і більше. Використовують багатомодовий та одномодовий оптичні кабелі. Багатомодовий (Multimode) кабель використовується для коротких відстаней (до 2 км). Внутрішній діаметр оптоволокна мультимодового кабелю становить 62,5 або 50 мікронів. Для забезпечення швидкості передачі 100 МБ/с (200 МБ/с у дуплексі) при використанні багатомодового оптоволокна довжина кабелю не повинна перевищувати 200 метрів. Одномодовий кабель використовується для великих відстаней. Довжина такого кабелю обмежена потужністю лазера, що використовується у передавачі сигналу. Внутрішній діаметр оптоволокна одномодового кабелю становить 7 або 9 мікрон, він забезпечує проходження одиночного променя.

Конектори, адаптери

Для підключення мідних кабелів використовуються конектори типу DB-9 або HSSD. HSSD вважається більш надійним, але DB-9 використовується так само часто, тому що він більш простий та дешевий. Стандартним (найпоширенішим) конектором для оптичних кабелів є SC конектор, що забезпечує якісне, чітке з'єднання. Для звичайного підключення використовуються багатомодові конектори SC, а для віддаленого - одномодові. У багатопортових адаптерах використовуються мікроконектори.

Найбільш поширені адаптери FC під шину PCI 64 bit. Також багато адаптерів FC виробляється під шину S-BUS, для спеціалізованого використання випускаються адаптери під MCA, EISA, GIO, HIO, PMC, Compact PCI. Найпопулярніші - однопортові, зустрічаються дво- та чотирипортові картки. На PCI адаптерах, як правило, використовують DB-9, HSSD, SC конектори. Також часто зустрічаються GBIC-based адаптери, які постачаються як із модулями GBIC, так і без них. Fibre Channel адаптери відрізняються класами, які вони підтримують, та різноманітними особливостями. Для розуміння відмінностей наведемо порівняльну таблицю адаптерів виробництва компанії QLogic.

Fibre Channel Host Bus Adapter Family Chart
SANblade	64 Bit	FCAL Publ. Pvt Loop	FL Port	Class 3	F Port	Class 2	Point to Point	IP/SCSI	Full Duplex	FC Tape	PCI 1.0 Hot Plug Spec	Solaris Dynamic Reconfig	VIВ	2Gb
2100 Series	33 & 66MHz PCI	X	X	X
2200 Series	33 & 66MHz PCI	X	X	X	X	X	X	X	X	X
	33MHz PCI	X	X	X	X	X	X	X	X	X	X
	25 MHZ Sbus	X	X	X	X	X	X	X	X	X		X
2300 Series	66 MHZ PCI/ 133MHZ PCI-X	X	X	X	X	X	X	X	X	X			X	X

Концентратори

Fibre Channel HUBs (концентратори) використовуються для підключення нод до FC кільця (FC Loop) і мають структуру, схожу на концентратори Token Ring. Оскільки розрив кільця може призвести до припинення функціонування мережі, в сучасних концентраторах FC використовуються порти обходу кільця (PBC-port bypass circuit), які дозволяють автоматично відкривати/закривати кільце (підключати/відключати системи, приєднані до концентратора). Зазвичай FC HUBs підтримують до 10 підключень і можуть стекуватися до 127 портів на кільце. Усі пристрої, підключені до HUB, одержують загальну смугу пропускання, яку можуть розділяти між собою.

Комутатори

Fibre Channel Switches (комутатори) мають ті ж функції, що і звичні читачеві LAN комутатори. Вони забезпечують повношвидкісне неблоковане підключення між нодами. Будь-яка нода, підключена до комутатора FC, отримує повну (з можливостями масштабування) смугу пропускання. У разі збільшення кількості портів комутованої мережі її пропускна здатність збільшується. Комутатори можуть використовуватися разом з концентраторами (які використовують для ділянок, що не вимагають виділення смуги пропуску для кожної ноди) для досягнення оптимального співвідношення ціна/продуктивність. Завдяки каскадуванню свічки потенційно можуть використовуватися для створення FC мереж з кількістю адрес 2 24 (понад 16 мільйонів).

Мости

FC Bridges (мости або мультиплексори) використовуються для підключення пристроїв із паралельним SCSI до мережі на базі FC. Вони забезпечують трансляцію пакетів SCSI між Fibre Channel і Parallel SCSI пристроями, прикладами яких можуть служити Solid State Disk (SSD) або бібліотеки на магнітних стрічках. Слід зауважити, що останнім часом практично всі пристрої, які можуть бути утилізовані в рамках SAN, виробники починають випускати із вмонтованим FC інтерфейсом для прямого їх підключення до мереж зберігання даних.

Сервери та Сторедж

Незважаючи на те, що сервери та сторедж - далеко не останні за важливістю компоненти SAN, ми на їх описі зупинятися не будемо, оскільки впевнені, що з ними добре знайомі всі наші читачі.

Насамкінець хочеться додати, що ця стаття - лише перший крок до мереж зберігання даних. Для повного розуміння теми читачеві слід приділити чимало уваги особливостям реалізації компонентів виробниками SAN та програмним засобам управління, оскільки без них Storage Area Network - це лише набір елементів для комутації сторедж-систем, які не принесуть вам повноти переваг від реалізації мережі зберігання даних.

Висновок

Сьогодні Storage Area Network є досить новою технологією, яка незабаром може стати масовою серед корпоративних замовників. У Європі та США підприємства, які мають досить великий парк інстальованих сторедж-систем, вже починають переходити на мережі зберігання даних для організації сторедж із найкращим показником загальної вартості володіння.

За прогнозами аналітиків, у 2005 році значна кількість серверів середнього та верхнього рівня будуть поставлятися з попередньо встановленим інтерфейсом Fibre Channel (таку тенденцію можна помітити вже сьогодні), і лише для внутрішнього підключення дисків у серверах використовуватиметься паралельний SCSI інтерфейс. Вже сьогодні при побудові сторедж-систем та придбанні серверів середнього та верхнього рівня слід звернути увагу на цю перспективну технологію, тим більше, що вже сьогодні вона дає можливість реалізувати ряд завдань набагато дешевше, ніж за допомогою спеціалізованих рішень. Крім того, вкладаючи в технологію SAN сьогодні, ви не втратите свої вкладення завтра, оскільки особливості Fibre Channel створюють чудові можливості для використання у майбутньому вкладених сьогодні інвестицій.

P.S.

Попередня версія статті була написана в червні 2000 року, але через відсутність масового інтересу до технології мереж зберігання даних публікацію було відкладено на майбутнє. Це майбутнє настало сьогодні, і я сподіваюся, що ця стаття спонукає читача усвідомити необхідність переходу на технологію мереж зберігання даних як передову технологію побудови сторедж-систем та організації доступу до даних.