Характеристики SFP. Часть 2

Часть 1 здесь

Short Wavelength 850nm transceiver

Long Wavelength 1310nm transceiver

Для передачи данных по оптическим каналам используются лазеры с частотой вблизи инфракрасного диапазона. При увеличении длины волны уменьшается рассеивание, но возрастает поглощение электромагнитной волны. Вместе с эффектами влияния всяких примесей и гидроскильных ионов в составе кварцевого стекла, эти физические эффекты дают забавную “горку с трамплинами” характеризующую зависимость величины затухания сигнала от длины волны.

Из графика видно, что на кривой затухания есть три ложбинки при 0,85, 1,3 и 1,55мкм. Их называют окнами прозрачности оптоволокна. При таких длинах волн затухание минимально, поэтому именно они используются для передачи сигнала на сравнительно большие расстояния.

Производство передатчиков и приемников, работающих с длиной волны 850nm наименее трудозатратно и достаточно дешево. Именно это окно используется для передачи данных, так называемыми, коротковолновыми (Short-Wavelength, SWL) модулями SFP.

Общие потери окна 1310nm. намного ниже, чем у 850nm. Вследствие этого оно позволяет работать на более длинных дистанциях и используется в длинноволновых (Long-Wavelength, LWL) модулях SFP. Однако производство оборудования, работающего на данной длине волны заметно дороже.

Третье окно обеспечивает минимально возможные потери. Именно оно сейчас активно используется при передаче данных с применением технологии спектрального уплотнения WDM (Wavelength-Division Multiplexing).

Кстати, в настоящее время оптоволокно с приведенными выше на рисунке характеристиками уже считается устаревшим. Различные технологии позволяют убирать некоторые пики. Например, избавиться от пика между 2 и 3 окнами, получив ложбину во всем диапазоне от 1300 до 1600нм.

9mkm single-mode fiber

50mkm multi-mode fiber

62,5mkm multi-mode fiber

Теперь поговорим о модах.

Лазер генерирует не идеально тонкий луч, а световой пучок. Этот пучок можно умозрительно разделить на большое количество лучей, входящих в оптоволокно в разных местах плоскости его среза и под разнообразными углами. В зависимости от характеристик источника света и волокна, через оптический линк могут проходить как тысячи, так и лишь один луч. Эти лучи света принято называть модами.

Итак, лазер одновременно вводит в оптоволокно большое количество мод, распространяющихся под разными углами и, соответственно, проходящих разное расстояние. Поэтому время прохождения волокна от начала до конца для разных мод будет различным. Это приводит к тому, что короткий острый световой импульс на выходе будет достаточно размазан. Данный эффект называется модовой дисперсией.

Если входные импульсы следуют друг за другом достаточно часто, то выходные сигналы за счет модовой дисперсии станут перекрываться друг с другом и различить их друг от друга приемнику будет нелегко. Возникнет множество ошибок. Модовая дисперсия является основным фактором, ограничивающим Transfer Rate. Она также заметно влияет на максимальное расстояние устойчивой передачи данных.

К счастью, законы физики в нашей Вселенной таковы, что при уменьшении диаметра волокна количество распространяющихся в нем мод начинает снижаться. А по мере приближения диаметра к длине волны передаваемого света остается все лишь одна мода. Такое волокно называют (какой сюрприз ;) ) одномодовым (Single Mode, SM). По таким оптическим линкам возможна передача данных на большие расстояния. Стандартный диаметр одномодового волокна очень мал - всего 9мкм,. поэтому изготавливать его достаточно сложно и дорого.

Многомодовые волокна обычно имеют диаметр 50мкм или 62,5мкм. Она намного дешевле, чем одномодовые. К тому же больший диаметр заметно упрощает их оконцовку и сращивание.

Operating distances

OM1 62.5 μm (200-500 MHz*km)	Distance
2 Gbit/sec Fibre Channel	0.5 to 150 m
4 Gbit/sec Fibre Channel	0.5 to 70 m
8 Gbit/sec Fibre Channel	0.5 to 21 m
OM2 50 μm (500 MHz*km)	Distance
2 Gbit/sec Fibre Channel	0.5 to 300 m
4 Gbit/sec Fibre Channel	0.5 to 150 m
8 Gbit/sec Fibre Channel	0.5 to 50 m
OM3 50 μm (1500 MHz*km)	Distance
2 Gbit/sec Fibre Channel	0.5 to 500 m
4 Gbit/sec Fibre Channel	0.5 to 380 m
8 Gbit/sec Fibre Channel	0.5 to 150 m

Существует международный стандарт, предусматривающий разделение многомодовых волокон на классы OM1, OM2, OM3 и OM4 на основе характеристики произведения ширины полосы пропускания на расстояние (см. в таблице выше).

Класс OM1 разрабатывался еще для сетей Ethernet 10 и 100Mbit/s. В качестве источника света тогда в основном применялись светоизлучающие диоды LED. Характеристик этих излучателей и волокна OM1 было вполне достаточно для реализации канала дляной до 2000м низкоскоростных технологий передачи данных.

В качестве излучателя оптических импульсов в оборудовании, работающим на Transfer Rate 1Gbps и более вместо диодов LED используются лазерные источники сигнала. В таких условиях волокно OM1 может устойчиво передавать сигнал лишь на небольшие расстояния. Поэтому все-таки резоннее использовать оптические линки лучшего качества – OM2 или даже OM3.

Волокна класса OM4 планируется использовать в будущем с оборудованием 40Gbps. Одномодовое оптоволокно представлено классами OS1 и OS2.

Для отличия волокон принято (но не обязательно) использовать различные цвета окраски внешней оболочки кабеля.
• желтый – одномодовое волокно 9мкм
• оранжевый - многомодовое волокно 62.5/50мкм, OM1/0M2+

• голубой - многомодовое волокно 50мкм OM3/OM4

Далее поговорим о потерях в оптическом линке

Характеристики SFP. Часть 1

Когда в прошлом году я был в Белоруссии у одного из своих любимых заказчиков, услышал, как один из инженеров попросил своего коллегу:: “Тащи-ка еще жменьку сфпишек” :) . Оптические модули давно уже стали настолько повсеместно используемыми, что многие к ним уже относятся как к расходному материалу, а их количество меряют просто горстями :) .
На днях я по какой-то надобности открыл спецификацию на модуль SFP и вдруг понял, что некоторые обозначения и цыфирки для меня совершенно загадочны. Подумал, почитал и написал сие эссе…

Объяснение наиболее употребительных характеристик, взятых из спецификаций на современные модули SFP.

Up to 8.5Gbps - максимальная скорость передачи (Transfer Rate). Обозначение Gbps (или Gbit/s или Gb/s) в зависимости от контекста может использоваться двумя способами: просто как название интерфейса, или для определения его реального Transfer Rate. Поэтому во избежание путаницы, интерфейсы, все же, лучше называть 1GFC, 2GFC, 4GFC, 8GFC и 16GFC. Теперь разберемся с Transfer Rate. При передаче, transceiver испускает лазерные импульсы с частотой 1,063GHz, 2,126GHz, 4,252GHz, 8,5GHz или 14,025GHz. Импульс соответствует одному биту данных. Стоп…. не так… не биту, а боду. И здесь это не синонимы, ведь на уровне FC-1 данные кодируются методом 8b/10b и каждые 8 бит информации передаются 10 бодами. Так что, метрика Gbit/s в данном конкретном случае используется не верно. Должно быть Gbod/s. Однако исторически сложилось, что в литературе принято использовать именно этот термин, так что расслабимся и просто будем помнить, что за ним стоит реально.

Tri-Rate 2.125/4.25/8.5 Gb/s Fibre Channel – поддержка работы в одном из трех (triple) Transfer Rate. Обратите внимание, что на 1,063GHz современные 8GFC SFP уже не работают.

bi-directional data links – модуль SFP объединяет в себе сразу передатчик (transmitter) и приемник (receiver). Поэтому он поддерживает одновременную передачу и прием данных по двум линкам в рамках единого канала. Еще со времен радио, такие устройства называются transceiver. Именно поэтому модули SFP являются трансиверами.

Duplex LC connector – сдвоенный разъем LC, совмещающий в едином пластиковом корпусе одновременно 2 оптоволоконных ввода. Намного удобнее, по сравнению с использованием двух отдельных линков. По крайней мере, не надо задумываться в какой разъем надо вставлять каждое волокно, чтобы передатчик на одном конце “светил” в приемник на другом… и никак по другому ;) . Сейчас большинство кабелей, сделанных заводским способом именно такие.

1310nm Fabry-Perot laser transmitter - полупроводниковый лазер с классическим резонатором Фабри-Перо (помните школьный курс физики? ;) ). Удивительно, но эта штука (в смысле резонатор, а не лазер) была придумана еще в 1899 г. французскими физиками Перо и Фабри и до сих пор активно используется. Он представляет собой два, параллельно расположенных и обращенных друг к другу зеркала, между которыми формируется резонансная стоячая оптическая волна. Одно из зеркал делается более пропускающим для вывода излучения в этом направлении. В настоящее время такой резонатор используется в длинноволновых модулях SFP.

850nm Oxide VCSEL laser transmitter - поверхностно-излучающий лазер с вертикальным резонатором (Vertical Cavity Surface Emitting Laser). Полупроводниковый лазер, излучающий свет в направлении, перпендикулярном поверхности кристалла, в отличие от обычных лазерных диодов, излучающих в плоскости, параллельной поверхности. По сравнению с резонаторами Fabry-Perot, которые часто требуют специальных оптических элементов (coupling) для ввода луча в волокно, VCSEL имеет резонатор, расположенный перпендикулярно плоскости подложки; а это, в свою очередь, облегчает тестирование лазеров в процессе производства и снижению стоимости их сборки. Пока чаще используются в коротковолновых модулях SFP.

FC-PI-4 compliance – соответствует 4 стандарту ANSI FC-PI (Fibre Channel - Physical Interface), описывающему электрические и оптические спецификации на нижнем физическом уровне FC-0 (что такое уровни FC еще помните?). FC-PI-4 содержит все требования предыдущих стандартов FC-PI, FC-PI-2 и SM-LL-V. Стандарт FC-PI-3 описывает требования к интерфейсам XFI+ для 10GFC, а FC-PI-5 – новые 16GFC интерфейсы.

SFF-8472 Diagnostic Monitoring Interface for Optical Transceivers – поддержка диагностических возможностей в соответствии с стандартом SFF-8472. Позволяет в режиме реального времени отслеживать такие параметры модуля, как мощность передаваемого и принимаемого сигнала, ток смещения лазера, температура корпуса и напряжение питания.

RoHS compliant and Lead Free – директива Restriction of Hazardous Substances, ограничивающая содержание вредных веществ, принятая Европейским Союзом и вступившая в силу в 2006 г. Она препятствует использованию в электронном оборудовании шести опасных веществ: свинец, ртуть, кадмий, шестивалентный хром, полибромированные бифенолы и полибромированный дифенол-эфир. Если техника не соответствует этой директиве, то продавать в Европе ее нельзя.

IEC 60825-1 Class 1 / CDRH Class 1 laser eye safe – класс 1 по стандартам безопасности лазерной аппаратуры. Соответствует лазерным системам очень малой мощности, не способным создавать опасный для человеческого глаза уровень облучения даже при долговременном прямом наблюдении. Звучит заманчиво, но, не смотря на это, смотреть все же не рекомендую ;)

Hot-pluggable SFP+ footprint - версия форм-фактора SFP, предназначенная для работы с 8GFC и 10GbE. С принятием стандарта SFP+ в 2009 г. был сделан ряд на первый взгляд не заметных, но значимых для стабильности передачи данных на высоких Transfer Rates изменений, например, улучшена геометрия контактов, изменена конструкция фиксирующей пружинки и т. д. Форм-фактор SFP+ полностью совместим с SFP.
В настоящий момент Brocade для своих 64-портовых 8Gbps плат поставляет модули форм-фактора miniSFP. По сравнению с SFP/SFP+ (14,8/12,4/56,7 мм) miniSFP (11,7/10,25/56.40 мм) имеют заметно меньшие размеры, что позволяет добиться большей плотности размещения портов на плате.

Metal enclosure, for lower EMI – для уменьшения уровня электромагнитных помех (EMI, Electro-Magnetic Interference), модуль помещен в металлический кожух. Это так же позволяет увеличить плотность размещения портов.

Extended operating temperature range: -5°C to 85°C – рабочий температурный диапазон
Storage temperature –40°C to 100°C – температура хранения модулей. Заметьте, что хранить на сильном морозе можно, а вот работать лучше все-таки в отапливаемом помещении.

В следующей части вспомним физику, поговорим о "модной" специфике и о том, зачем укорачивать и удлинять волны...

Коммутаторы Brocade 16Gbps

Declaimer: за что купил, за то и продаю. До официального релиза, все это слухи, слухи… а меня в этот раз подписывать ничего не заставляли, так что…

Компания Brocade уже с лета говорит о том, что в начале 2011 г. появятся коммутаторы 16Gbps. В этом посте немного подробностей о новых продуктах.

Коммутаторы 16Gbps построены на новых ASIC Condor 3 (будут ли Goldeneye 3 я, честно говоря, не знаю). В контексте эволюции поколений эти ASIC являются шестым поколением.

Поколение ASIC	1	2	3	4		5	6	7
ASIC	Stitch	Loom	Bloom, Bloom-II	Condor / Goldeneye	Egret	Condor 2 / Goldeneye 2	Condor 3	?
Количество портов ASIC	2	4	8	32 / 24	bridge chip 3x4Gbps в 12,75Gbps	40 / 24	48
Год выхода	1997	1999	2001	2004	2007	2008	2011	2014
Кол-во портов	2	4	8	32 / 24		40 / 24
Transfer Rate	1,063Gbps	1,063Gbps	2,126Gbps	4,252Gbps	12,75Gbps	8,5Gbps	14,025Gbps	28,05Gbps
Кодирование	8B/10B	8B/10B	8B/10B	8B/10B	64B/66B	8B/10B	64B/66B	64B/66B
Теоретическая макс. Bandwidth half duplex	100 MB/s	100 MB/s	200 MB/s	400 MB/s		800 MB/s	1600 MB/s	3200 MB/s
Реальная макс. Bandwidth half duplex	90 MB/s	95 MB/s	190 MB/s	380 MB/s		760 MB/s	1552 MB/s	3104 MB/s
Внешние модули коммутаторов	GBIC	GBIC	SFP	SFP	XFP	SFP+	SFP+	SFP+
Длина линков OM3 Link	860	860	500	380	300	150	100	60

48 портов Condor 3 работают в режимах 2GFC, 4 GFC, 8 GFC, 10 GFC и 16 GFC (обратите внимание 1 GFC больше не поддерживается, зато поддерживается 10 GFC). По типам, порты могут быть EX/E/F/M/D.
Пропускная способность 768Gbps позволяет передавать до 350 млн. фреймов в сек.

Важной особенностью нового ASIC является использование не классического кодировании 8b/10b, а более экономного 64b/66b. Группа ANSI T11 решила, что теперь именно такой способ кодирования будет стандартом для 10G Ethernet и 16G FC. Это позволяет снизить накладные расходы на кодирование с 25% до 3%.
Как вы помните у Brocade уже были платы с 10GFC на чипах Egret, в которых также использовалось кодирование 64b/66b. Однако, они не были обратно совместимы с классическими 1,2,4,8Gbps, использующими 8b/10b. В отличии от Egret, новый Condor 3 будет совместим с 2,4,8Gbps. Правда, на сколько я понял, 8b/10b-64b/66b autonegotiation работать не будет.

Буферы портов сделаны в 4 раза больше - 8KB (для чего это нужно, я пока не понял). Общего количества буферов хватит для передачи данных на расстояния до 21000 км.
С FOS 7.0 (предположительно, Q2/2011) появится новая функциональность обнаружения и восстановления потерянных буферных кредитов на уровне Virtual Channels. В Condor 2 такая функциональность работала только на уровне портов.

Количество Virtual Channels (VCs) увеличено до 40.
В trunk как и раньше можно объединять до 8x ISLs (в сумме 128Gbps).

В качестве дополнительных вкусностей Condor 3 поддерживает:

• Шифрование данных E-порт в E-порт на лету (алгоритм AES-GCM, 256bit ключи) (вроде, будет поддерживаться только с FOS 7.0, Q2/2011)
• Компрессия данных E-порт в E-порт (алгоритм McLZO, дополнительная лицензия не нужна) (вроде, будет поддерживаться только с FOS 7.0, Q2/2011)
• Совместимость с 10G Ethernet

Что пока известно о продуктах? Будут объявлены директоры DCX 8510, коммутаторы 6510 и 16Gbps HBA. Надеюсь, что маркетинг Brocade все-таки изменит эти интуитивно непонятные названия, например на какой-нибудь DCX+ ;) .

Директоры Brocade DCX 8510-8 и DCX 8510-4:

• Максимум до 384 портов 16Gbps
• Платы FC16-32 и FC16-48
• C FOS 7.0 (предположительно, Q2/2011) поддержка плат FC8-64 (все знают , что такие уже вышли? ;) ), FX8-24 (маршрутизация), FS8-18 (шифрование) и FCoE10-24 (FCoE)
• C FOS 7.0 update (предположительно, Q4/2011) поддержка плат FC8-32 и FC8-48 (жаль, что поздновато)
• Общая пропускная способность - 8.2Tbps
• Пропускная способность на слот - 512Gbps
• Архитектура такая же, как и в 8Gbps DCX: 8x ASICs на платах CR и по 2x ASICs на платах ввода-вывода
• 32x 64Gbps QSFP ICL в директорах DCX 8510-8
• 16x 64Gbps QSFP ICL в директорах DCX-8510-4
• Общая пропускная способность ICL - 2Tbps (в 4x раза больше, чем в директорах 8Gbps)
• C FOS 7.0 поддержка для подключения к ICL универсальных оптических кабелей (до 50 метров)
• Объединение до 5x директоров при помощи ICL в топологию mesh (можно организовывать core-edge прямо на ICL, правда, oversubscription все равно будет)
• Лицензия ICL ports-on-demand

Коммутаторы Brocade 6510

• Размер 1U
• 48 портов 16Gbps FC
• Общая пропускная способность - 768Gbps

HBAs Brocade 16 Gbps:

• До 1600 MB/sec и 500K IOPs на порт
• Поддержка функциональности SR-IOV, QoS, N_Port Trunking

ИТ-афоризмы

Во натолкнулся на несколько забавностей...  :)

“A fool with a tool is still a fool.”
Дурак с инструментом…  все равно дурак.

“Know what you are automating before you automate it.”
Узнайте, что вы автоматизируете, до того, как начнете автоматизировать.

“Real men don't click.”
Реальные пацаны не кликают. (в смысле пользуются только CLI ;) )

“Windows is like a submarine. As soon you open up a window, the problems begins”
Windows как подводная лодка: проблемы начинаются сразу, как только вы откроете окно.

You can have it done right, cheap, or quick. Pick two.
Вам все сделают правильно, дешево и быстро…  (подчеркните только два варианта)

“OSI layer 8 error”.
Ошибка восьмого уровня модели OSI.

“Nothing is permanent, except for temporary solutions.”
Ничто так не постоянно, как временное.

“There are only 2 types of people..people that have experienced a harddisk crash and people that are going to expierence a harddisk crash!”
Существуют всего 2 типа людей: те, кто не понаслышке знает, что такое крэш диска, и те, кто уже скоро об этом узнают…

"There are only 10 types of people in the world: Those who understand binary, and those who don't"
В мире существуют только 10 типов людей: тех кто понимает двоичное исчисление и тех кто нет.

Нет повода не...

Сегодня я совершенно случайно обнаружил, что день-то праздничный. Это, конечно, не День взятия Бастилии, но повод закусить, определенно, есть... :) По календарю сегодняшнее число 10.10.10. Безмерно ликовать и радоваться можно по двум причинам:

-во первых, 101010 само по себе красиво. Особенно, если вспомнить об этом в 10:10...

-а во вторых, любой ИТ-шник сразу переведет его из bin в dec и получит... о чудо... 42 !!! , что, как всем известно, есть ответ на "Самый главный вопрос жизни, Вселенной и вообще"... ;)  

PS я вот все думаю над вопросом...  %(   может "приборы?"

PPS "Life, the Universe & Tape or Disk" еще раз, для тех кто читал оригинал..  :)))

Статья "Эффективное хранение данных"

Журнал опубликовал мою статейку. Исключительно в целях бессмысленного повышения энтропии Вселенной запощу ее и сюда  ;) . Оригинал здесь.

PS мне сказали, что название должно быть именно таким...  :)  от этого и плясал...

"Люди общаются друг с другом посредством слов. Однако некоторые слова от частого использования затираются и теряют свой смысл. От регулярного бездумного употребления превратилось в бессмыслицу и слово “эффективность”. Мы постоянно видим его в маркетинговых брошюрах, слышим в докладах конференций и презентациях продуктов. Постепенно слово перестало что-либо означать, стало просто обязательным атрибутом расхваливания товаров.

В этой статье я тоже хотел бы поговорить об эффективности. Но для начала надо вернуть слову смысл и разобраться, какой же все-таки эффект мы ожидаем получить от пресловутых эффективных продуктов и решений. С точки зрения бизнеса эффективность всегда выражается в денежных единицах. Их можно либо заработать, либо сэкономить. Тот, кто обслуживает информационные системы, знает, что зарабатывать и экономить можно на простоте и скорости администрирования, качественном удовлетворении требований бизнеса к производительности, скорости доступа к информации и надежности ее хранения.

Современная действительность такова, что для того, чтобы оставаться лидером рынка, необходимо постоянно рассчитывать, каков будет реальный эффект от применения каждой новой технологии или продукта. Именно поэтому инновационный подход компании EMC всегда ориентирован на конкретную выгоду заказчиков. В качестве примера рассмотрим несколько наиболее интересных новых технологий хранения данных, а также проследим, какой потенциальный эффект на бизнес они могут оказать.

Начнем с обсуждения очень актуальной проблемы. Мир тонет. Наша маленькая планета буквально захлебывается в колоссальных объемах данных, которые с каждым годом увеличиваются в сумасшедшей прогрессии. Для борьбы с потопом можно, конечно, использовать самый простой метод — постоянно приобретать новые емкости, тем самым, увеличивая доступное пространство хранения. К сожалению, этот способ хорош только на первых порах. После достижения некого критического уровня суммарных емкостей в любой компании остро встают вопросы роста капитальных и операционных затрат (из-за необходимости увеличения площадей серверных комнат для размещения нового оборудования), увеличения численности группы администрирования СХД и поиска дефицитных дорогостоящих “стораджевиков”. Каждый год приходится выкладывать все возрастающие суммы на сервисную поддержку. Мониторинг такого комплекса и управление им превращаются в кошмар. Начинают играть заметную роль факторы, которые раньше совсем не принимались во внимание. Например, стоимость электропитания или отвод тепла из серверной. Безрадостная картина, не правда ли?

К счастью, кроме способа экстенсивного расширения ресурсов существует метод их более интенсивного использования. Для начала задумаемся, каким образом потребляется емкость хранения. Для примера рассмотрим полезные данные размером 1 Tбайт. Помещенные в некую СУБД за счет разреженности они могут занимать заметно больший объем, скажем 2 Tбайт. Объем данных со временем растет, и администратор СХД просто обязан выделять тома с неким запасом по емкости. Допустим, в текущий момент утилизация выделенных томов равна 50%, что в итоге приводит к потреблению 4 Tбайт. Для защиты информации применяется RAID. При использовании зеркалирования RAID10 нам потребуются 8 Tбайт физической емкости. Катастрофоустойчивое решение предполагает реализацию репликации на удаленный дисковый массив, и это приводит к потреблению дополнительных 8 Tбайт. Полное и инкрементальное резервное копирование за неделю потребует не менее 2,5 Tбайт, а для его выполнения в горячем режиме необходимо использовать функциональность мгновенных снимков, что в среднем увеличивает потребление ресурсов хранения еще на 20% от полезного объема. Средам тестирования и разработки также нужна физическая емкость, скажем 500 Гб в RAID5. Итого, в нашем примере при хранении 1 Tбайт полезной информации придется выделить объем более 19 Tбайт. В англоязычной литературе для обозначения потребляемого брутто-объема данных используется термин data footprint. Интересно, что даже небольшое сокращение объема полезных данных, например за счет их архивирования, приведет к значительному снижению потребляемой емкости.

Сокращение data footprint заметно снижает капитальные и операционные затраты и поэтому является одной из основных задач оптимизации хранения данных. Давайте рассмотрим две современных технологии, которые компания EMC предлагает для решения этой задачи: динамическое выделение ресурсов хранения (virtual provisioning) и компрессия данных.

Динамическое выделение ресурсов хранения позволяет не резервировать заранее дисковое пространство под рабочие тома, а автоматически делать это из общего пула ресурсов по мере роста данных. В дисковых массивах CLARiiON в новой 30-й версии операционной среды Flare функциональность пулов была значительно расширена. Поддерживаются RAID 5, 6 и 10. В пуле можно одновременно создавать как классические чуть более производительные “толстые” тома с предварительным резервированием ресурсов, так и динамические “тонкие” тома. Оптимизирована технология динамического расширения пулов при добавлении новых дисков. Теперь это происходит без использования функциональности MetaLUN.

Если серверы заказчика работают с операционной системой Windows Server 2008, для сокращения data footprint в пулах можно применить технологию изъятия неиспользуемых ресурсов томов (LUN shrink). Видимый размер тома уменьшается мгновенно. Реальное же его сокращение реализуется в дисковом массиве при помощи фоновых процессов, которые выискивают 8-Kбайт блоки, заполненные нулями, и возвращают их обратно в пул.

Подобная технология подойдет и владельцам других операционных систем. Для освобождения неиспользуемых ресурсов рекомендуется провести миграцию данных на “тонкие” тома. При этом 8-Kбайт блоки нулей, как и в случае технологии LUN shrink, возвращаются в общий пул. Данная функциональность работает и при миграции данных с других дисковых массивов с помощью SANcopy.

Стоит заметить, что применение общего пула позволяет значительно сократить время создания и расширения ресурсов хранения, тем самым в долговременной перспективе заметно снизить затраты на администрирование комплекса.

Для дополнительного снижения потребляемой емкости можно воспользоваться компрессией томов. При включении эта функциональность совершенно прозрачно для пользователя перемещает данные на “тонкие” тома, освобождая неиспользуемые ресурсы. Во время такой миграции прямо “на лету” обнаруживаются и сжимаются повторяющиеся элементы данных в блоках по 64 Kбайт. К блокам, в которых можно сжать менее 8 Кбайт данных, компрессия не применяется. В дальнейшем для снижения нагрузки на дисковый массив компрессия работает в фоновом режиме, но не постоянно, а только при достижении пороговых значений. Процесс начинается при любом из двух условий: было изменено 10% данных тома или модифицировано 10 Гб информации. При чтении данных сжатая информация загружается в кэш и там автоматически распаковывается. Данные на диске остаются в компрессированном виде. Для контроля нагрузки на процессоры дискового массива каждому тому можно устанавливать один из трех приоритетов. При низком приоритете дополнительная загрузка CPU не превышает 15%.

Независимое тестирование компании Enterprise Strategy Group показало, что 100- Гб том с файловой системой NTFS, заполненный 75 Гб различных данных (видео, документы MS Office, текст, бинарные файлы), после применения компрессии стал занимать всего 54 Гб. Поразительные результаты, правда? Другие тесты показывают, что особенно эффективно использовать сжатие данных в виртуальной среде VMware.

В NAS-устройствах хранения EMC Celerra потребляемую емкость можно сократить за счет одновременного применения компрессии на уровне блоков и дедупликации файлов. Эффект экономии дискового пространства может достигать 50%. Как это работает? Специальный фоновый процесс сканирует устройство хранения и по характеристикам последнего времени доступа и модификации идентифицирует неактивные файлы. Далее такие файлы сжимаются при помощи механизма компрессии, аналогичному используемому в дисковых массивах CLARiiON. Одновременно с этим выполняется вычисление уникального хэша данных файла. Результат записывается в специальную скрытую область. Если хэшы нескольких файлов совпадают, то вместо всех дублированных копий записываются короткие ссылки на оригинальные данные. При модификации файлов перестраиваются ссылки только на измененные блоки. Такой подход позволяет значительно повысить скорость доступа к файлам большого размера.

Еще один эффективный способ сокращения издержек на хранение данных и понижения общей стоимости владения (TCO) — это динамическое выделение ресурсов в зависимости от ценности информации и требований производительности доступа к ней. Именно для этих целей компания EMC предлагает технологию FAST (Fully Automated Storage Tiering), которая позволяет автоматизировать перемещение данных в соответствии с уровнем активности доступа к ним. Вкратце рассмотрим, как это работает. В единый пул ресурсов могут быть объединены накопители трех разных типов flash (EFD), FC и SATA. Дисковый массив постоянно осуществляет мониторинг загрузки томов, на которых включена функциональность FAST, и в соответствии с активностью доступа к ним перемещает блоки данных на наиболее подходящий уровень хранения. “Горячие” данные попадают на производительные накопители flash. Редко требуемые размещаются на дисках SATA. Для обеспечения оптимального соотношения гранулярности перемещения и уменьшения дополнительных накладных расходов, связанных с внутренним копированием данных, данные перемещаются блоками в 1 Гб. Перенос информации осуществляется в соответствии с заранее установленными расписаниями. Приоритеты размещения данных на дисках с различными уровнями производительности могут задаваться специальными правилами.

Возвращаясь к главной теме этой статьи, опять зададимся вопросом: “В чем заключается эффективность?”. Дело в том, что технология FAST позволяет добиваться очень высоких показателей цена/производительность. Оптимальное для каждого конкретного заказчика сочетание накопителей различных типов, объединенных в общий пул ресурсов с заданными требованиями к производительности, позволяет гибко организовывать хранение данных, минимизируя удельную стоимость хранения. При этом решение будет адаптивным. Оно станет динамически приспосабливать комплекс хранения под изменяющиеся нужды бизнеса. Упрощение первоначального планирования размещения данных и отсутствие необходимости постоянной ручной оптимизации производительности дает возможность заметно снизить затраты на управление комплексом хранения. (способы расчета конфигурации под FAST обсуждались здесь)

Как уже упоминалось в начале статьи, мерилом эффективности любой технологии являются выгоды для бизнеса. Нужного эффекта можно достичь тысячами различных способов. Поэтому поиск технологических решений, оптимальных для каждой конкретной компании, - непростая задача, требующая как знаний, так и интуиции. Самым действенным способом выработки нужного решения является обсуждение продуктов и технологических нюансов с коллегами, имеющими опыт реализации и администрирования реально функционирующих комплексов хранения."


PS Картинка к комментарию 
Я проверил на демо-массиве, все три типа RAID поддерживаются.

Встреча со Стивом Тодом

FYI
К сожалению, только для Питерцев...  :(  ну, а тем кому повезло ;) , настоятельно рекомендую...

-----Original Message-----
From: emc-academic-alliance-russia-newsletters@googlegroups.com
Sent: Monday, October 04, 2010 10:41 PM
To: EMC Academic Alliance Russia Newsletters
Subject: EMC Academic Alliance Russia Newsletter #35/10

Уважаемые коллеги!


Сотрудник корпорации ЕМС Стив Тод  (Steve Todd)
http://stevetodd.typepad.com/my_weblog/steve-todd-curriculum-vitae.html
занимает должность инженера.
Однако его интересы простираются далеко за пределы его должностных
функций.
Его врожденные способности к систематизации информации и искренний
интерес к информационным технологиям, вместе со способностями к работе
с аудиторией привели к тому, что Стив
- написал и издал книгу по основам корпоративного предпринимательства,
- регулярно проводит публичные выступления как перед сотрудниками
различных подразделений корпорации, так и перед сотрудниками других
корпораций и студенческой аудиторией различных стран.


Стив приезжал и в Россию год назад.
Его выступление запомнилось непринужденностью обстановки, яркой
харизмой и умением просто рассказать о сложном.
Уверен, те кто был на встрече с Тодом захотят прийти снова.
Не только захватывающе, но и поучительно посмотреть как технический
специалист  может позиционировать себя в качестве собеседника и
соучастника.


Встречайте:


Стив Тодд, заслуженный инженер компании EMC,  прочитает лекцию "Global
High-Tech Innovations" сразу в двух петербургских вузах:


7 октября в четверг в 16 30 в Санкт-Петербургском государственном
университете информационных технологий, механики и оптики (ИТМО,
Кронверский пр, актовый зал)
и


8 октября в пятницу в 13 00 в Санкт-Петербургском государственном
университете (СПБГУ, Петергоф, Университетский пр., д.28, мат-мех,
ауд. 405)


Стив Тодд является заслуженным инженером в корпорации EMC.  Созданная
им программная реализация технологии RAID была одной из первых и
наиболее успешных за всю историю индустрии хранения данных. В мире
установлено более полумиллиона устройств хранения CLARiiON, которые
защищают наиболее важную и критичную информацию планеты с помощью
созданных Стивом алгоритмов. Стив является (со)автором более чем 160
патентов в различных областях информационных технологий.
Лекция будет посвящена следующим основным вопросам:
-    Глобализация инноваций
-    Последние инновационные достижения в мире, созданные разработчиками
программного обеспечения
-    Изменение корпоративной культуры в области инноваций на примере
корпорации EMC
-    Советы по успешной карьере в области ИТ


Блог Стива Тодда: http://bit.ly/aaMVWi
Книга Стива Тодда "Инновации, влияющие на мир" http://www.booklocker.com/books/4145.html


Регистрация:
http://vkontakte.ru/event20037521  - ИТМО
http://vkontakte.ru/event20043544    - СПБГУ


PS. Встреча пройдет на хорошем международном английском языке. Перевод и запись ранее обсуждались, но положительного решения пока нет

Приостановка передачи в SAN

Один из читателей блга прислал мне чрезвычайно интересный вопрос по поводу приостановки передачи данных в фабрике. Дмитрий, большое спасибо.
Ответом я решил поделиться со всеми и сделал из него такой короткий пост. Сори, если он получился слишком техническим и не понятным…

Одними из наиболее распространенных причин приостановки передачи данных в фабрике сети SAN являются процессы перестроения (Build Fabric) и реконфигурации фабрики (Reconfigure Fabric).

Для начала разберемся в принципиальных различиях между ними.
Процесс Build Fabric (BF) является не разрушающим (non-disruptive), т. е. хотя передача данных на какой-то небольшой период времени приостанавливается, но никакая информация не теряется. Это связано с тем, что списки Domain ID не обнуляются и адресация всех устройств гарантированно сохраняется. Principal Switch, приоритеты и маршруты передачи остаются прежними. Открытые exchange не сбрасываются.

Процесс Reconfigure Fabric (RCF), напротив, является разрушающим (disruptive) и передаваемые данные всегда теряются. Ведь списки Domain ID непременно сбрасываются и Domain ID назначаются заново. Если Domain ID какого-либо коммутатора изменился, после обязательного повторного логина в фабрику всех оконечных устройств изменятся и адреса соответствующих N-портов. При RCF весь трафик класса F прерывается. Обязательно начинается процесс перевыборов Principal Switch. По времени RCF продолжительнее, чем BF.

Ниже приведены несколько примеров ситуаций, для разрешения которых используются эти процессы.

• Новый коммутатор с чистым списком Domain ID присоединяется к уже функционирующей фабрике. Ему нужно назначить Domain ID, поэтому начнется процесс BF.
• Сливаются две продуктивные фабрики, имеющие собственные списки Domain ID. При этом, одинаковых Domain ID в этих фабриках нет. В этом случае необходимо вместо двух независимых Principal Switch выбрать один. В ходе процесса BF выбирается новый единый Principal Switch.
• Предыдущий случай, но в фабриках есть совпадающие Domain ID. Конфликт надо разрешить, поэтому начинается процесс RCF.
• Соединяются два новых коммутатора с девственно чистыми списками Domain ID. Начинаются выборы Principal Switch и, соответственно, процесс BF (или RCF).
• Если по каким-то причинам разрывается upstream principal ISL. Для нахождения альтернативного пути запускается BF. Если такой путь не найден, то после BF проходит RCF.
• Если какой-то коммутатор пытается достигнуть Domain ID, которого нет в фабрике, Principal Switch начинает RCF.
• В случае наличия сегментированных портов, модернизация микрокода может вызвать BF или даже RCF.
• При разрыве trunk master в 1Gbps и 2Gbps коммутаторов Brocade запускается BF.
• Если Principal Switch выключился или начал перегружаться, начинаются перевыборы и процесс RCF.
• Если по какой-то причине процесс BF закончился не удачно (не были получены пакеты подтверждения), начинается RCF.
• В коммутаторах Cisco вы можете принудительно вручную рестартовать домен. При disruptive restart запускается RCF, при nondisruptive restart – BF. Сделать disruptive restart обязательно придется, если захочется сменить текущее значение Domain ID (например, для разрешения конфликта). Изменение параметра Preferred Domain ID по понятным причинам потребует всего лишь nondisruptive restart.

Избежать задержек передачи данных в результате BF или RCF не возможно. Ведь эти процессы предназначены для обеспечения жизнедеятельности самой фабрики. Однако, в некоторых случаях можно значительно сократить время BF и минимизировать его влияние на коммутаторы. Так, в коммутаторах Cisco при включенной опции fast restart, выход из строя Principal Link не вызывает полноценный Build Fabric. Если между коммутаторам существует дублирующий линк, то процесс его назначения Principal Link затронет не всю VSAN, а только два соответствующих коммутатора и займет всего несколько миллисекунд. Если дублирующего линка нет, то опция, конечно не поможет…

Остается вопрос, как же все-таки минимизировать воздействие описанных выше процессов на SAN? Ответ вы, конечно, знаете сами. Обязательное построение сети хранения в виде двух физически или логически (VSAN) изолированных друг от друга redundant фабрики вкупе с ПО multipathing!!!

Добавлено Brocade утверждает,что в современных релизах FOS Reconfigure Fabric никогда не происходит.  Охотно верю.