І іншого середовища передачі даних і підключених до неї серверів. Зазвичай використовується достатньо великими компаніями, що мають розвинену IT інфраструктуру, для надійного зберігання даних та швидкісного доступу до них.
Спрощено, СГД - це система, що дозволяє роздавати серверам надійні швидкі диски ємності, що змінюється з різних пристроїв зберігання даних.

Трохи теорії.
Сервер до сховища даних можна підключити кількома способами.
Перший і найпростіший - DAS, Direct Attached Storage ( пряме підключення), легко ставимо диски в сервер, або масив в адаптер сервера - і отримуємо багато гігабайт дискового простору з порівняно швидким доступом, і при використанні RAID-масиву - достатню надійність, хоча списи на тему надійності ламають вже давно.
Однак таке використання дискового простору не оптимальне - на одному сервері місце закінчується, на іншому його ще багато. Вирішення цієї проблеми - NAS, Network Attached Storage (сховище, підключене по мережі). Однак за всіх переваг цього рішення — гнучкості та централізованого управління — є один істотний недолік- Швидкість доступу, ще не в усіх організаціях впроваджена мережа 10 гігабіт. І ми підходимо до мережі зберігання даних.

Головна відмінність SAN від NAS (крім порядку букв в абревіатурах) - це те, яким чином бачаться ресурси, що підключаються на сервері. Якщо NAS ресурси підключаються протоколам NFS або SMB , в SAN ми отримуємо підключення до диска, з яким можемо працювати на рівні операцій блочного вводу-виводу, що набагато швидше мережного підключення(Плюс контролер масиву з великим кешем додає швидкості на багатьох операціях).

Використовуючи SAN, ми поєднуємо переваги DAS – швидкість і простоту, і NAS – гнучкість та керованість. Плюс отримуємо можливість масштабування систем зберігання доти, доки вистачає грошей, паралельно вбиваючи одним пострілом ще кілька зайців, яких одразу не видно.

* знімаємо обмеження на дальність підключення SCSI-пристроїв, які зазвичай обмежені дротом в 12 метрів,
* зменшуємо час резервного копіювання,
* можемо вантажитися з SAN,
* у разі відмови від NAS розвантажуємо мережу,
* Отримуємо велику швидкість введення-виведення за рахунок оптимізації на стороні системи зберігання,
* Отримуємо можливість підключати кілька серверів до одного ресурсу, це нам дає наступних двох зайців:
- на повну використовуємо можливості VMWare - наприклад VMotion (міграцію віртуальної машини між фізичними) і що з ними,
- можемо будувати стійкі до відмов кластери і організовувати територіально розподілені мережі.

Що дає?
Крім освоєння бюджету оптимізації системи зберігання даних, ми отримуємо, крім того що я написав вище:

* збільшення продуктивності, балансування навантаження та високу доступністьсистем зберігання за рахунок кількох шляхів доступу до масивів;
* економію на дисках за рахунок оптимізації розташування інформації;
* прискорене відновлення після збоїв - можна створити тимчасові ресурси, розгорнути на них backup та підключити до них сервера, а самим без поспіху відновлювати інформацію, або перекинути ресурси на інші сервери та спокійно розбиратися з померлим залізом;
* зменшення час резервного копіювання - завдяки високої швидкостіпередачі можна бекапитися на стрічкову бібліотеку швидше, або взагалі зробити snapshot (миттєвий знімок) з файлової системи та спокійно архівувати його;
* дискове місце на вимогу - коли нам потрібно - завжди можна додати пару полиць у систему зберігання даних.
* Зменшуємо вартість зберігання мегабайта інформації - природно, є певний поріг, з якого ці системи рентабельні.
* надійне місце зберігання mission critical і business critical даних (без яких організація неспроможна існувати й нормально работать).
* окремо хочу згадати VMWare - повністю всі фішки на кшталт міграції віртуальних машин з сервера на сервер та інших смакот доступні тільки на SAN.

Із чого це складається?
Як я писав вище - СГД складається з пристроїв зберігання, середовища передачі та підключених серверів. Розглянемо по порядку:

Системи зберігання данихзазвичай складаються з жорстких дисківі контролерів, в системі, що поважає себе, як правило всього по 2 - по 2 контролери, по 2 шляхи до кожного диска, по 2 інтерфейси, по 2 блоки живлення, по 2 адміністратора. З найбільш шанованих виробників систем слід згадати HP, IBM, EMC та Hitachi. Тут процитую одного представника EMC на семінарі - «Компанія HP робить чудові принтери. Ось нехай вона їх і робить! Підозрюю, що у HP теж дуже люблять EMC. Конкуренція між виробниками неабияка, втім, як і скрізь. Наслідки конкуренції — інколи осудні ціни за мегабайт системи зберігання та проблеми із сумісністю та підтримкою стандартів конкурентів, особливо у старого обладнання.

Середовище передачі.

Зазвичай SAN будують на оптиці, це дає на поточний моментшвидкість 4, місцями 8 гігабіт на канал. При побудові раніше використовувалися спеціалізовані хаби, зараз більше свитчі, переважно від Qlogic, Brocade, McData і Cisco (останні два на майданчиках не бачив жодного разу). Кабелі використовуються традиційні для оптичних мереж - одномодові та багатомодові, одномодові більш далекобійні.
Усередині використовується FCP - Fibre Channel Protocol, транспортний протокол. Як правило всередині нього бігає класичний SCSI, а FCP забезпечує адресацію та доставку. Є варіант із підключенням по звичайній мережі та iSCSI, але він зазвичай використовує (і сильно вантажить) локальну, а не виділену під передачу даних мережу, і вимагає адаптерів з підтримкою iSCSI, та й швидкість повільніше, ніж по оптиці.

Є ще розумне слово топологія, яке зустрічається у всіх підручниках з SAN. Топологій кілька, найпростіший варіант - точка-точка (point to point), що з'єднуємо між собою 2 системи. Це не DAS, а сферичний кінь у вакуумі найпростіший варіант SAN. Далі йде керована петля (FC-AL), вона працює за принципом «передай далі» - передавач кожного пристрою з'єднаний з наступником, пристрої замкнуті в кільце. Довгі ланцюжки мають властивість довго ініціалізуватися.

Та й останній варіант - комутована структура (Fabric), вона створюється за допомогою свитчів. Структура підключень будується в залежності від кількості портів, що підключаються, як і при побудові локальної мережі. Основний принцип побудови — усі шляхи та зв'язки дублюються. Це означає, що до кожного пристрою в мережі є щонайменше 2 різні шляхи. Тут також вживається слово топологія, у сенсі організації схеми підключень пристроїв і з'єднання свитчів. При цьому зазвичай свитчі налаштовуються так, що сервера не бачать нічого, крім призначених їм ресурсів. Це досягається за рахунок створення віртуальних мережі називається зонуванням, найближча аналогія - VLAN. Кожному пристрою в мережі присвоюється аналог MAC-адреси мережі Ethernet, він називається WWN - World Wide Name. Він присвоюється кожному інтерфейсу та кожному ресурсу (LUN) систем зберігання даних. Масиви та свитчі вміють розмежовувати доступ WWN для серверів.

Серверапідключають до СГД через HBA - Host Bus Adapter -и. За аналогією з мережевими картами існують одно-, дво-, чотирипортові адаптери. Кращі "собаководи" рекомендують ставити по 2 адаптери на сервер, це дозволяє здійснювати балансування навантаження, так і забезпечує надійність.

А далі на системах зберігання нарізаються ресурси, вони ж диски (LUN) для кожного сервера і залишається місце в запас, все включається, установники системи прописують топологію, ловлять глюки в налаштуванні свитків і доступу, все запускається і живе довго і щасливо *.
Я спеціально не торкаюся різних типівпортів у оптичної мережікому треба — той і так знає чи прочитає, кому не треба — тільки голову забивати. Але як завжди, при неправильно встановленому типі порту нічого не працюватиме.

З досвіду.
Зазвичай під час створення SAN замовляють масиви з кількома типами дисків: FC для швидкісних додатків, і SATA чи SAS для дуже швидких. Таким чином виходять дві дискові групи з різною вартістю мегабайта — дорога і швидка, і повільна і сумна дешева. На швидку вішаються зазвичай усі бази даних та інші додатки з активним і швидким введенням-виводом, на повільну — файлові ресурси та інше.

Якщо SAN створюється з нуля, то має сенс будувати її на основі рішень від одного виробника. Справа в тому, що, незважаючи на заявлену відповідність стандартам, існують підводні граблі проблеми сумісності обладнання, і не факт, що частина обладнання працюватиме один з одним без танців з бубном та консультацій із виробниками. Зазвичай для утряски таких проблем простіше покликати інтегратора і дати йому грошей, ніж спілкуватися з стрілками виробниками, що переводять одна на одну.

Якщо SAN створюється на базі існуючої інфраструктури— все може бути складно, особливо якщо є старі SCSI масиви та зоопарк старої техніки від різних виробників. У цьому випадку є сенс кликати на допомогу страшного звіра інтегратора, який розплутуватиме проблеми сумісності та наживатиме третю віллу на Канарах.

Часто під час створення СХД фірми не замовляють підтримку системи виробником. Зазвичай це виправдано, якщо фірма має штат грамотних компетентних адмінів (які вже 100 разів назвали мене чайником) і неабиякий капітал, що дозволяє закупити запасні комплектуючі в потрібних кількостях. Однак компетентних адмінів зазвичай переманюють інтегратори (сам бачив), а грошей на закупівлю не виділяють, і після збоїв починається цирк із криками «Всіх уволю!» замість дзвінка в сапорт і приїзду інженера із запасною деталлю.

Підтримка зазвичай зводиться до заміни померлих дисків та контролерів, та й до додавання до системи полиць з дисками та нових серверів. Багато клопотів буває після раптової профілактики системи силами місцевих фахівців, особливо після повного зупинення та розбирання-складання системи (і таке буває).

Про VMWare. Наскільки я знаю (спеці з віртуалізації поправте мене), тільки VMWare і Hyper-V мають функціонал, що дозволяє «на льоту» перекидати віртуальні машини між фізичними серверами. І для його реалізації потрібно, щоб всі сервери, між якими переміщається віртуальна машина, були приєднані до одного диска.

Про кластери. Аналогічно випадку з VMWare, відомі мені системи побудови відмовостійких кластерів(Sun Cluster, Veritas Cluster Server) - Вимагають підключеного до всіх систем сховища.

Поки писав статтю — у мене запитали — які RAIDи зазвичай об'єднують диски?
У моїй практиці зазвичай робили або по RAID 1+0 на кожну дискову полицю з FC дисками, залишаючи 1 запасний диск (Hot Spare) і нарізали з цього шматка LUN під завдання, або робили RAID5 з повільних дисків, знову ж таки залишаючи 1 диск на заміну. Але тут питання складне, і зазвичай спосіб організації дисків у масиві вибирається під кожну ситуацію та обґрунтовується. Та ж EMC наприклад йде ще далі, і вони мають додаткове налаштуваннямасиву під програми, що працюють із ним (наприклад під OLTP, OLAP). З рештою вендорів я так глибоко не копав, але здогадуюсь, що тонке налаштування має кожен.

* до першого серйозного збою, після нього зазвичай купується підтримка у виробника чи постачальника системи.

У справі пізнання SAN зіткнувся з певною перешкодою – важкодоступністю базової інформації. У питанні вивчення інших інфраструктурних продуктів, з якими доводилося стикатися, простіше – є пробні версіїПЗ, можливість встановити їх на віртуальній машині, є купа підручників, референс гайдів та блогів на тему. Cisco і Microsoft клепають дуже якісні підручники, MS ще сяк-так причесал свою пекельну горищну комору під назвою technet, навіть по VMware є книга, нехай і одна (і навіть російською мовою!), причому з ККД близько 100%. Вже і за самими пристроями зберігання даних можна отримати інформацію з семінарів, маркетингових заходів та документів, форумів. По мережі ж зберігання – тиша та мертві з косами стояти. Я знайшов два підручники, але купити не наважився. Це "Storage Area Networks For Dummies" (є і таке, виявляється. Дуже допитливі англомовні "чайники" в цільовій аудиторії, мабуть) за півтори тисячі рублів і "Distributed Storage Networks: Architecture, Protocols and Management" - виглядає надійніше, але 8200р при знижці 40%. Разом із цією книгою Ozon рекомендує також книгу «Мистецтво цегляної кладки».

Що порадити людині, яка вирішить з нуля вивчити хоча б теорію організації мережі зберігання даних, я не знаю. Як показала практика, навіть дорогі курси можуть дати на виході нуль. Люди, що стосуються SAN поділяються на три категорії: ті, хто взагалі не знає що це, хто знає, що таке явище просто є і ті, хто на питання «навіщо в мережі зберігання робити дві і більше фабрики» дивляться з таким подивом, ніби їх запитали щось на кшталт «навіщо квадрату чотири кути?».

Спробую заповнити прогалину, якої не вистачало мені – описати базу та описати просто. Розглядатиму SAN на базі її класичного протоколу - Fibre Channel.

Отже, SAN - Storage Area Network - призначена для консолідації дискового простору серверів на спеціально виділених дискових сховищах. Суть у тому, що так дискові ресурси економніше використовуються, легше керуються і мають більшу продуктивність. А в питаннях віртуалізації та кластеризації, коли кільком серверам потрібен доступ до одного дискового простору, Подібні системи зберігання даних взагалі незамінна штука.

До речі, в термінологіях SAN завдяки перекладу російською виникає деяка плутанина. SAN у перекладі означає «мережа зберігання даних» - СГД. Проте класично у Росії під СХД розуміється термін «система зберігання даних», тобто саме дисковий масив ( Storage Array), який у свою чергу складається з Керуючого блоку ( Storage Processor, Storage Controller) та дискових полиць ( Disk Enclosure). Проте, в оригіналі Storage Array є лише частиною SAN, хоча часом найзначнішою. У Росії її отримуємо, що СХД (система зберігання даних) є частиною СХД (мережі зберігання даних). Тому пристрої зберігання зазвичай називають СГД, а мережа зберігання - SAN (і плутають із «Sun», але це вже дрібниці).

Компоненти та терміни

Технологічно SAN складається з наступних компонентів:

1. Вузли, ноди (nodes)

• Дискові масиви (системи зберігання даних) - сховища (таргети)
• Сервери - споживачі дискових ресурсів (ініціатори).

2. Мережева інфраструктура

• Комутатори (і маршрутизатори у складних та розподілених системах)
• Кабелі

Особливості

Якщо не вдаватися до деталей, протокол FC схожий на протокол Ethernetз WWN-адресами замість MAC-адрес. Тільки замість двох рівнів Ethernet має п'ять (з яких четвертий поки не визначений, а п'ятий - це мапінг між транспортом FC і високорівневими протоколами, які по цьому FC передаються - SCSI-3, IP). Крім того, в комутаторах FC використовують спеціалізовані сервіси, аналоги яких для IP мереж зазвичай розміщуються на серверах. Наприклад: Domain Address Manager (відповідає за призначення Domain ID комутаторам), Name Server (зберігає інформацію про підключені пристрої, такий собі аналог WINS в межах комутатора) і т.д.

Для SAN ключовими параметрамиє як продуктивність, а й надійність. Адже якщо сервер БД пропаде мережу на пару секунд (або навіть хвилин) - ну неприємно буде, але пережити можна. А якщо на цей же час відвалиться жорсткий диск з базою або з ОС, ефект буде значно серйознішим. Тому всі компоненти SAN зазвичай дублюються - порти в пристроях зберігання та серверах, комутатори, лінки між комутаторами та, ключова особливість SAN, порівняно з LAN – дублювання на рівні всієї інфраструктури мережевих пристроїв- Фабрики.

Фабрика (fabric- що взагалі у перекладі з англійської тканину, т.к. термін символізує переплетену схему підключення мережевих і кінцевих пристроїв, але термін вже устоявся) - сукупність комутаторів, з'єднаних між собою міжкомутаторними лінками ( ISL - InterSwitch Link).

Високонадійні SAN обов'язково включають дві (іноді й більше) фабрики, оскільки фабрика як така - єдина точка відмови. Ті, хто хоч раз спостерігав наслідки кільця в мережі або спритного руху клавіатури, що вводить в комусь комутатор рівня ядра або розподілу невдалою прошивкою або командою, розуміють про що йдеться.

Фабрики можуть мати ідентичну (дзеркальну) топологію чи відрізнятися. Наприклад, одна фабрика може складатися з чотирьох комутаторів, а інша - з одного, і до неї можуть бути підключені лише висококритичні вузли.

Топологія

Розрізняють такі види топологій фабрики:

Каскад- Комутатори з'єднуються послідовно. Якщо їх більше двох, то ненадійно та непродуктивно.

Кільце- Замкнений каскад. Надійніше просто каскаду, хоча при велику кількістьучасників (більше 4) продуктивність буде страждати. А одиничний збій ISL або одного з комутаторів перетворює схему на каскад з усіма.

Сітка (mesh). Буває Full Meshколи кожен комутатор з'єднується з кожним. Характерно високою надійністю, продуктивністю та ціною. Кількість портів, потрібне під міжкомутаторні зв'язки, з додаванням кожного нового комутатора до схеми зростає експоненційно. За певної конфігурації просто не залишиться портів під вузли - всі будуть зайняті під ISL. Partial Mesh- Будь-яке хаотичне об'єднання комутаторів.

Центр/периферія (Core/Edge)- близька до класичної топології LAN, але рівня розподілу. Нерідко сховища підключаються до Core-комутаторів, а сервери – до Edge. Хоча для сховищ може бути виділений додатковий шар (tier) Edge комутаторів. Також сховища і сервери можуть бути підключені в один комутатор для підвищення продуктивності і зниження часу відгуку (це називається локалізацією). Така топологія характеризується гарною масштабованістю та керованістю.

Зонінг (зонування, zoning)

Ще одна характерна для технологія SAN. Це визначення пар ініціатор-таргет. Тобто, яким серверам до яких дискових ресурсів можна мати доступ, щоб не вийшло, що всі сервери бачать усі можливі диски. Досягається це так:

• вибрані пари додаються до попередньо створених на комутаторі зони (zones);
• зони містяться в набори зон (zone set, zone config), створені там же;
• набори зон активуються у фабриці.

Для початкового посту на тему SAN, думаю, достатньо. Перепрошую за різномасні картинки - самому намалювати на роботі поки немає можливості, а вдома ніколи. Була думка намалювати на папері та сфотографувати, але вирішив, що краще так.

Наостанок, як постскриптум, перерахую базові рекомендації щодо проектування фабрики SAN.

• Проектувати структуру так, щоб між двома кінцевими пристроями було не більше трьох комутаторів.
• Бажано, щоб фабрика складалася не більше ніж з 31 комутатора.
• Варто задавати Domain ID вручну перед введенням нового комутатора у фабрику - покращує керованість та допомагає уникнути проблем однакових Domain ID, у випадках, наприклад, перепідключення комутатора з однієї фабрики до іншої.
• Мати кілька рівноцінних маршрутів між кожним пристроєм зберігання та ініціатором.
• У разі невизначених вимог до продуктивності виходити із співвідношення кількості Nx-портів (для кінцевих пристроїв) до кількості ISL-портів як 6:1 (рекомендація EMC) або 7:1 (рекомендація Brocade). Дане співвідношення називається перепідпискою (oversubscription).
• Рекомендації щодо зонінгу:
  - використовувати інформативні імена зон та зон-сетів;
  - Використовувати WWPN-зонінг, а не Port-based (заснований на адресах пристроїв, а не фізичних портів конкретного комутатора);
  - Кожна зона – один ініціатор;
  - Чистити фабрику від «мертвих» зон.
• Мати резерв вільних портів та кабелів.
• Мати резерв обладнання (комутатори). На рівні сайту – обов'язково, можливо на рівні фабрики.

7 липня 2010 о 15:12

SN6000 – комутатор для розвитку мережі зберігання

• Блог компанії Hewlett Packard Enterprise

Сьогодні ми розповімо вам про нового стекування комутатора StorageWorks SN6000 c 20 восьмигігабітними портами Fibre Channel. Такий пристрій призначений насамперед для побудови мережі зберігання SAN невеликої компанії, де у ІТ-фахівця зазвичай немає досвіду налаштування обладнання Fibre Channel.

HP StorageWorks SN6000 стандартно поставляється з утилітою Simple SAN Connection Manager (SSCM), яка за допомогою графічних візардів допомагає навіть новачкові в технологіях SAN правильно визначити конфігурацію пристроїв SAN, включаючи сам комутатор, HBA-адаптери серверів та дисковий масив HP StorageWorks MSA або EVA (зрозуміло) , якщо є у замовника).

Зазвичай для кожного з цих компонентів SAN використовується окрема утиліти налаштування параметрів Fibre Channel, а SSCM замінює їх одним універсальним інструментом. В результаті значно спрощується розгортання SAN і зменшується ризик помилок конфігурації. SSCM автоматично розпізнає підключені до мережі зберігання комутатори Fibre Channel, сервери та дискові масиви HP StorageWorks. Також за допомогою зручного графічного інтерфейсу утиліти можна розбити мережу зберігання на зони та розподілити між ними дискові ресурси.

На цьому можливості SSCM не закінчуються – утиліта дозволяє з графічної консолі контролювати стан компонентів SAN та вносити зміни до її конфігурації при додаванні до мережі зберігання нового обладнання. Вона автоматизує такі процеси обслуговування SAN, як моніторинг її стану, розподіл LUN-ів та оновлення мікрокоду пристроїв, відображає топологію мережі, веде журнал подій та відстежує зміни конфігурації SAN.

Для зниження вартості комутатор SN6000 можна придбати у початковій восьмипортовій конфігурації. HP також пропонує компаніям, які хочуть перейти до використання зовнішнього дискового масиву та побудувати свою першу SAN, готовий набір SAN Starter Kit. Набір складається з нового масиву HP StorageWorks P2000 G3 FC MSA () з двома RAID-контролерами, двох комутаторів SN6000, чотирьох серверних HBA-адаптерів HP 81Q Single-Port PCI-e FC, 12 модулів HP 8Gb Short Wave FC SFP+ та 8 п'ятиметрових кабелів Fibre Channel. За допомогою цього набору навіть новачок у технологіях Fibre Channel зможе без проблем розгорнути невелику мережузберігання з чотирма хостами.

У міру розвитку мережі SAN та підключення до неї нових пристроїв можна активізувати решту портів SN6000, докупивши ліцензії на чотири додаткових порту. Крім того, для підвищення відмовостійкості комутатора, від якого залежить робота SAN, передбачено встановлення другого блоку живлення та забезпечення гарячої замінинесправний блок живлення.

Якщо всі 20 портів SN6000 будуть задіяні, то для подальшого розширеннямережі SAN використовують стекування комутаторів. SN6000 відрізняється від інших комутаторів Fibre Channel початкового рівнянаявністю чотирьох виділених десятигігабітних портів Fibre Channel для стекування (Inter-Switch Link, ISL) тому при об'єднанні комутаторів у стік не потрібно звільняти частину портів, до яких приєднані сервери та системи зберігання SAN.

Завдяки цьому стекування проводиться в гарячому режимі (без порушення нормальної роботи SAN) і менший ризик неправильного з'єднання кабелів між комутаторами. Зазначимо, що порти для стекування давно стали стандартними для модульних комутаторів Ethernet, але в обладнанні для мереж Fibre Channel вони почали використовувати лише останнім часом. Порти стекування SN6000 використовують 10-гігабітний Fibre Channel з опцією переходу на 20-гігабітний інтерфейс, причому після переходу на швидший інтерфейс не потрібно замінювати кабелі, що з'єднують порти ISL.

У стек можна поєднати до шести комутаторів зі 120 портами, і SSCM управляє всім стеком як одним пристроєм. Крім того, можна поєднати між собою до п'яти стеків комутаторів SN6000.

У порівнянні з об'єднанням нестекованих комутаторів Fibre Channel за допомогою топології mesh стек SN6000 зменшує кількість портів і кабелів, задіяних для з'єднання окремих комутаторів – наприклад, для побудови 80-портової конфігурації потрібно чотири SN6000 з 6 кабелями проти п'яти нестекованих 24 . Крім того, для з'єднання портів нестекованих комутаторів потрібно ще придбати модулі SFP для портів, що виконують функції ISL, а порти SN6000, що стекуються, забезпечують вищу пропускну здатність, ніж основні восьмигігабітні порти комутатора.

Для оптимізації роботи портів стекування SN6000 застосовується функція Adaptive Trunking, яка автоматично перерозподіляє трафік між кількома шляхами ISL стека. Інша функція I/O StreamGuard гарантує безперервну передачу потоків даних через мережу зберігання для критично важливих програм (наприклад, резервного копіювання на стрічку) при перезавантаженні одного із серверів, підключених до SAN,

SN6000 також підійде і для розширення існуючої великої мережі SAN великого підприємства. Через проблеми сумісності комутаторів Fibre Channel при побудові та розширенні SAN замовники зазвичай намагаються використовувати в мережі зберігання обладнання одного виробника. SN6000 дозволяє побудувати гетерогенну мережу завдяки реалізованій в цьому комутаторі функції Transparent Routing, яка прозоро з'єднує його до великих комутаторів Fibre Channel (так званим директором, наприклад HP StorageWorks B-Series і C-Series) і в результаті в фабрику існуючої SAN додаються підключені до SN6000 системи зберігання та сервери, але сам стекуваний комутатор буде невидимий для старої SAN.

Такий сценарій розгортання SN6000 для розширення існуючої SAN можна застосовувати при побудові за допомогою цих комутаторів додаткової SAN для резервного копіювання, в якій встановлені стрічкові бібліотеки, або окремої департаменту SAN, з'єднаної з основною мережею зберігання підприємства, а також для поступового перекладу SAN з технологій 2 або 4 Гбіт/сек на восьмигігабітну версію Fibre Channel.

У найпростішому випадку SAN складається із СГД, комутаторів та серверів, об'єднаних оптичними каналами зв'язку. Крім безпосередньо дискових СХД у SAN можна підключити дискові бібліотеки, стрічкові бібліотеки (стримери), пристрої зберігання даних на оптичних дисках(CD/DVD та інші) та ін.

Приклад високонадійної інфраструктури, в якій сервери включені одночасно в локальну мережу (ліворуч) та мережу зберігання даних (праворуч). Така схема забезпечує доступ до даних, що знаходяться на СХД, при виході з ладу будь-якого процесорного модуля, комутатора або шляху доступу.

Використання SAN дозволяє забезпечити:

• централізоване управління ресурсами серверів та систем зберігання даних;
• підключення нових дискових масивів та серверів без зупинки роботи всієї системи зберігання;
• використання раніше придбаного обладнання разом із новими пристроями зберігання даних;
• оперативний та надійний доступ до накопичувачів даних, що знаходяться на великій відстані від серверів, без значних втрат продуктивності;
• прискорення процесу резервного копіювання та відновлення даних - BURA.

Історія

Розвиток мережевих технологій призвело до появи двох мережевих рішеньдля СГД – мереж зберігання Storage Area Network (SAN) для обміну даними на рівні блоків, що підтримуються клієнтськими файловими системами, та серверів для зберігання даних на файловому рівні Network Attached Storage (NAS). Щоб відрізняти традиційні СГД від мережевих, був запропонований ще один ретронім – Direct Attached Storage (DAS).

З'являлися на ринку послідовно DAS, SAN і NAS відображають ланцюжки зв'язків, що еволюціонують, між додатками, що використовують дані, і байтами на носії, що містять ці дані. Колись самі програми-додатки читали та писали блоки, потім з'явилися драйвери як частина операційної системи. У сучасних DAS, SAN і NAS ланцюжок складається з трьох ланок: перша ланка – створення RAID-масивів, друга – обробка метаданих, що дозволяють інтерпретувати двійкові дані у вигляді файлів та записів, і третя – послуги з надання даних додатку. Вони різняться у тому, де як реалізовані ці ланки. У випадку з DAS СХД є «голою», вона лише надає можливість зберігання та доступу до даних, а все інше робиться на стороні сервера, починаючи з інтерфейсів та драйвера. З появою SAN забезпечення RAID переноситься на бік СГД, решта залишається так само, як у випадку з DAS. А NAS відрізняється тим, що в СГД переносяться ще й метадані для забезпечення файлового доступу, тут клієнту залишається тільки підтримувати послуги даних.

Поява SAN стала можливою після того, як у 1988 році було розроблено протокол Fibre Channel (FC) і в 1994 затверджено ANSI як стандарт. Термін Storage Area Network датується 1999 роком. Згодом FC поступився місцем Ethernet, і набули поширення мережі IP-SAN з підключенням по iSCSI.

Ідея мережевого серверазберігання NAS належить Брайану Ренделлу з Університету Ньюкестла та реалізована в машинах на UNIX-сервері у 1983 році. Ця ідея виявилася настільки вдалою, що була підхоплена безліччю компаній, у тому числі Novell, IBM і Sun, але зрештою змінили лідерів NetApp і EMC.

У 1995 році Гарт Гібсон розвинув принципи NAS і створив об'єктні СГД (Object Storage, OBS). Він почав з того, що розділив всі дискові операції на дві групи, в одну увійшли виконувані частіше, такі як читання і запис, в іншу більш рідкісні, такі як операції з іменами. Потім він запропонував на додаток до блоків та файлів ще один контейнер, він назвав його об'єктом.

OBS відрізняється новим типом інтерфейсу, його називають об'єктним. Клієнтські послуги даних взаємодіють з метаданими по об'єктному API (Object API). В OBS зберігаються не тільки дані, але ще й підтримується RAID, зберігаються метадані, що належать до об'єктів і підтримується об'єктний інтерфейс. DAS, і SAN, і NAS, і OBS співіснують у часі, але кожен із типів доступу більшою мірою відповідає певного типуданих та додатків.

Архітектура SAN

Топологія мережі

SAN є високошвидкісною мережею передачі, призначеною для підключення серверів до пристроїв зберігання даних. Різноманітні топології SAN (точка-точка, петля з арбітражною логікою (Arbitrated Loop) та комутація) заміщають традиційні шинні з'єднання «сервер - пристрої зберігання» та надають у порівнянні з ними більшу гнучкість, продуктивність та надійність. В основі концепції SAN лежить можливість з'єднання будь-якого із серверів з будь-яким пристроєм зберігання даних, що працює за протоколом Fibre Channel. Принцип взаємодії вузлів SAN з топологіями точка-точка або комутацією показаний на малюнках. SAN з топологією Arbitrated Loop передача даних здійснюється послідовно від вузла до вузла. Для того, щоб почати передачу даних, пристрій, що передає, ініціалізує арбітраж за право використання середовища передачі даних (звідси і назва топології – Arbitrated Loop).

Транспортну основу SAN складає протокол Fibre Channel, який використовує як мідні, і волоконно-оптичні з'єднання пристроїв.

Компоненти SAN

Компоненти SAN поділяються на:

• ресурси зберігання даних;
• пристрої, що реалізують інфраструктуру SAN;

Host Bus Adaptors

Ресурси зберігання даних

До ресурсів зберігання даних відносяться дискові масиви, стрічкові накопичувачі та бібліотеки з інтерфейсом Fibre Channel. Багато своїх можливостей ресурси зберігання реалізують тільки включеними в SAN. Так дискові масиви вищого класу можуть здійснювати реплікацію даних між масивами по мережах Fibre Channel, а стрічкові бібліотеки можуть реалізовувати перенесення даних на стрічку прямо з дискових масивів інтерфейсом Fibre Channel, минаючи мережу та сервери (Serverless backup). Найбільшу популярність на ринку набули дискові масиви компаній EMC, Hitachi, IBM, Compaq (сімейство Storage Works, що дісталося Compaq від Digital), а з виробників стрічкових бібліотек слід згадати StorageTek, Quantum/ATL, IBM.

Пристрої, що реалізують інфраструктуру SAN

Пристроями, що реалізують інфраструктуру SAN, є комутатори Fibre Channel (Fibre Channel switches, FC switches), концентратори (Fibre Channel Hub) і маршрутизатори (Fibre Channel-SCSI routers). Концентратори використовуються для об'єднання пристроїв, що працюють в режимі ). Застосування концентраторів дозволяє підключати та відключати пристрої в петлі без зупинки системи, оскільки концентратор автоматично замикає петлю у разі відключення пристрою та автоматично розмикає петлю, якщо до нього було підключено новий пристрій. Кожна зміна петлі супроводжується складним процесом її ініціалізації. Процес ініціалізації багатоступінчастий, і до закінчення обмін даними в петлі неможливий.

Усі сучасні SAN побудовані на комутаторах, що дозволяють реалізувати повноцінне мережне з'єднання. Комутатори можуть не тільки з'єднувати пристрої Fibre Channel, але й розмежовувати доступ між пристроями, навіщо на комутаторах створюються так звані зони. Пристрої, поміщені різні зони, що неспроможні обмінюватися інформацією друг з одним. Кількість портів SAN можна збільшувати, з'єднуючи комутатори один з одним. Група зв'язаних комутаторів зветься Fibre Channel Fabric або просто Fabric. Зв'язки між комутаторами називають Interswitch Links або скорочено ISL.

Програмне забезпечення

Програмне забезпечення дозволяє реалізувати резервування шляхів доступу серверів до дискових масивів та динамічний розподіл навантаження між шляхами. Для більшості дискових масивів існує простий спосіб визначити, що порти, доступні через різні контролери, відносяться до одного диска. Спеціалізоване програмне забезпечення підтримує таблицю шляхів доступу до пристроїв та забезпечує відключення шляхів у разі аварії, динамічне підключення нових шляхів та розподіл навантаження між ними. Як правило, виробники дискових масивів пропонують спеціалізоване програмне забезпечення такого типу для своїх масивів. Компанія VERITAS Software виробляє програмне забезпечення VERITAS Volume Manager, призначене для організації логічних дискових томів з фізичних дисківта забезпечення резервування шляхів доступу до дисків, а також розподіл навантаження між ними для більшості відомих дискових масивів.

Використані протоколи

У мережах зберігання даних використовуються низькорівневі протоколи:

• Fibre Channel Protocol (FCP), транспорт SCSI через Fibre Channel. Найчастіше використовуваний на даний момент протокол. Існує у варіантах 1 Gbit/s, 2 Gbit/s, 4 Gbit/s, 8 Gbit/s та 10 Gbit/s.
• iSCSI, транспорт SCSI через TCP/IP.
• FCoE, транспортування FCP/SCSI поверх "чистого" Ethernet.
• FCIP та iFCP , інкапсуляція та передача FCP/SCSI у пакетах IP.
• HyperSCSI, транспорт SCSI через Ethernet.
• FICON транспорт через Fibre Channel (використовується лише мейнфреймами).
• ATA over Ethernet, транспорт ATA через Ethernet.
• SCSI та/або TCP/IP транспорт через InfiniBand (IB).

Переваги

• Висока надійність доступу до даних, що знаходяться на зовнішніх системахзберігання. Незалежність топології SAN від використовуваних СГД та серверів.
• Централізоване зберігання даних (надійність, безпека).
• Зручне централізоване керування комутацією та даними.
• Перенесення інтенсивного трафіку введення-виведення в окрему мережу – розвантаження LAN.
• Висока швидкодія та низька латентність.
• Масштабованість та гнучкість логічної структури SAN
• Географічні розміри SAN, на відміну класичних DAS, мало обмежені.
• Можливість оперативно розподіляти ресурси між серверами.
• Можливість будувати відмовостійкі кластерні рішення без додаткових витрат на базі наявної SAN.
• Проста схема резервного копіювання – усі дані перебувають у одному місці.
• Наявність додаткових можливостей та сервісів (снапшоти, віддалена реплікація).
• Високий рівень безпеки SAN.

Спільне використання систем зберігання зазвичай спрощує адміністрування і додає неабияку гнучкість, оскільки кабелі та дискові масиви не потрібно фізично транспортувати і перекомутувати від одного сервера до іншого.

Іншим перевагою є можливість завантажувати сервери безпосередньо з мережі зберігання. За такої конфігурації можна швидко та легко замінити збійний