Сетевой схд. Назначение систем хранения данных (СХД) и их виды

Компания Тринити является одним из лидеров ИТ-рынка среди поставщиков систем хранения данных (СХД) в России. За свою более 25-летнюю историю, являясь официальным поставщиком и партнером известных брендов СХД, мы поставили своим заказчиком несколько сотен систем хранения данных, различного назначения, таких вендоров (производителей) оборудования, как: IBM, Dell EMC, NetApp, Lenovo, Fujitsu, HP, Hitachi, Oracle (Sun Microsystems), Huawei, RADIX, Infortrend. Некоторые системы хранения данных содержали более 1000 жестких дисков и имели емкость более петабайта.

Сегодня мы являемся мультивендорным системным интегратором и занимаемся проектированием и построением ИТ-инфраструктуры предприятий, поставляя и внедряя у наших заказчиков, не только системы хранения данных известных марок, но и серверное и сетевое оборудование, инженерную инфраструктуру, средства обеспечения информационной безопасности, а также управления и мониторинга. Комплексный подход компании Тринити обеспечивается глубокой экспертизой наших инженеров и многолетними партнерскими отношениями с производителями аппаратного и программного обеспечения. Сегодня мы можем предложить комплексные ИТ-решения для бизнеса любого масштаба и задач любой сложности.

Мы оказываем большой спектр БЕСПЛАТНЫХ услуг , которыми сопровождаем возможные активности во взаимоотношениях с нашими потенциальными заказчиками ИТ-оборудования и решений. Мы готовы БЕСПЛАТНО проработать и подготовить решение ИТ-задачи в части анализа всех возможных вариантов, выбора оптимального, расчет архитектуры решения, составление всех спецификаций оборудования и ПО, а также развертывание этого решения в инфраструктуре заказчика.

Системный подход для комплексного решение ИТ-задач заказчика или поставка отдельных ИТ-составляющих решения предполагает глубокое консультирование экспертов «Тринити» для выбора единственно правильного и оптимального решения.

Компания Тринити является официальным партнером ведущих производителей СХД оборудования и программного обеспечения, подтвержденного самыми высокими статусами уровня Premier (Премьер), GOLD (Золотой), PLATINUM (Платиновый) и получением специальных наград, которыми вендоры отмечают своих партнеров за достижения в уровне экспертизы и внедрении сложных информационных технологий в отрасли производства, торговли и государственного управления.

Мы предлагаем не только купить оборудование для хранения данных ведущих международных брендов (производителей), таких как Dell EMC, Lenovo, NetApp, Fujitsu, HP (HPe), Hitachi, Cisco, IBM, Huawei, но и готовы выполнить для вас весь спектр ИТ-задач по подбору оборудования, консультированию, составлению спецификаций, пилотному тестированию в нашей лаборатории или на вашей площадке, настройке, инсталляции и оптимизации инфраструктуры именно под ваши задачи и конкретные приложения. Также мы готовы предоставить специальные цены на поставляемые системы хранения данных и сопутствующее оборудование и ПО, а также оказать квалифицированную техническую поддержку и сервисное обслуживание.

Мы всегда готовы помочь разработать техническое задание и спецификацию систем хранения данных (СХД) и серверного оборудования для конкретных задач, сервисов и приложений, подобрать финансовые условия (рассрочка, лизинг), осуществить доставку и монтаж оборудования на площадке заказчика и последующий запуск в работу с консультированием и обучением ИТ-сотрудников клиента.

Подбор оптимальной конфигурации оборудования для хранения и обработки данных

Мы готовы предложить Вам системы хранения данных оптимальной комплектации. В своем портфеле решений, мы имеем различные системы хранения данных: cистемы Класса All-Flash (флэш), Гибридные СХД на твердотельных Флэш-накопителях, SSD, NVMe, SAS, SATA с различными вариантами подключения к хостам, как файловых сред (сетевая файловая система NFS и SMB), так и блочных СХД (Fibre Channel и iSCSI), а также готовы произвести расчет гиперконвергентных систем (HCI). Вы можете сформулировать ваши задачи или пожелания к составу СХД, требования к производительности (IOPs - операций ввода-вывода в секунду), требований к времени доступа (Latency, задержка в мили- или микросекундах), емкости хранения (гигабайт, терабайт, петабайт), физическим размерам и потребляемой энергии, а также к серверам и ПО (операционные системы, гипервизоры и прикладные приложения). Мы готовы проконсультировать Вас по телефону или по почте и готовы предложить провести вам полный или частичный аудит ресурсов и сервисов хранения ИТ-инфраструктуры вашей компании, для глубокого понимания ваших задач, требований и возможностей для оптимального подбора ИТ-решения (СХД) или выполнения комплексного проекта, результаты которого будут работать на ваш бизнес долгие годы, имея возможность наращивания мощности и емкости хранения с ростом требований, вашей специфики и задач развития. Вы сможете подобрать (получить спецификации и цены), произвести пилотное тестирование систем хранения данных в своей инфраструктуре, получить все необходимые консультации и в последующем купить системы хранения данных и другое сопутствующее оборудование и ПО, получив моновендорное или мультивендорное решение, а наши специалисты выполнят весь комплекс поставки и работ от вашего первого контакта с нами, до подписания актов выполненных работ и оказания сервисного обслуживания.

Кроме готовых и настроенных систем хранения данных, компания Тринити предлагает большой спектр серверного оборудования и сетевой инфраструктуры, которые интегрируются в ИТ инфраструктуру заказчика для комплексного решения задач хранения и обработки данных. Практически любой обзор систем хранения данных, который можно найти на тематических сайтах и форумах, обязательно будет включать в себя информацию наших многолетних партнеров IBM, Dell EMC, NetApp, Lenovo, Fujitsu, HP, Hitachi, Cisco и Huawei. Все это оборудование для хранения данных Вы можете купить и настроить в нашей компании быстро и выгодно.

Сайзинг и подбор спецификации систем хранения данных под задачи Вашей компании

У нас на складе есть как готовые, наиболее востребованные системы хранения данных, так и все возможности для быстрой и точной проработки технического задания для разработки конфигураций СХД под нужды конкретной компании. Наши системы способны работать в круглосуточном режиме: 24 часа в день, 7 дней в неделю, 365 дней в году без сбоев и ошибок. Такой статистики мы добиваемся высоким качеством поставляемых решений и жестким тестированием всех узлов и компонентов систем хранения перед отгрузкой нашим заказчикам. Применение RAID технологий, средств отказоустойчивости, кластеризации и решений защиты от катастроф (Disaster Recovery), как на аппаратном уровне, так и на уровне операционных систем, контроллеров, гипервизоров и развернутых сервисов, гарантируют целостность и доступность обрабатываемой и хранимой информации на системах хранения данных, так и на резервных копиях. Вы можете купить просто системы хранения данных в нашей компании или пригласить нас для участия в комлексном ИТ-проекте, в котором оборудование хранения данных является одной из составляющих ИТ-инфраструктуры предприятия.

Собственная разработка системы хранения данных

Компания Тринити разработала и поставляет систему хранения данных (СХД) на российский рынок под собственной торговой маркой "FlexApp". В основе этой системы хранения данных лежит программное обеспечение (ПО) компании RAIDIX. Линейка оборудования СХД отечественного производства Тринити включает в себя, как высокопроизводительные системы хранения данных на базе флеш-накопителей (All-Flash), так и емкие СХД с использованием множества самых емких жестких дисков по 16ТБ (терабайт) в каждой полке с возможностью объединять эти полки в пулы достигая общей емкости в сотни петабайт. Разработанная нами система хранения данных FlexApp может являться основой оборудования хранения данных для выполнения операторами связи требований «закона Яровой».

Как можно купить систему хранения данных в нашей компании?

Для того, чтобы рассчитать и купить систему хранения данных в нашей компании, необходимо отправить запрос по почте на интересующую Вас модель или описать ваши требования к составу такой модели. Также вы можете позвонить по нашим телефонам в рабочие часы. Мы будем рады обсудить с Вами задачи и требования к системам хранения данных, их производительности, уровню отказоустойчивости. Мы готовы предоставить полную и бесплатную экспертную консультацию по комплектации и техническим особенностям любых систем хранения данных, производства наших партнеров: Dell EMC, Lenovo, NetApp, Fujitsu, HP (HPe), Hitachi, Cisco, IBM, Huawei для оптимального подбора необходимого решения.

Наши офисы с инженерами и экспертами расположены в трех регионах страны:

• Центральный ФО, Москва;
• Северо-Западный ФО, Санкт-Петербург;
• Уральский ФО, Екатеринбург.

Мы всегда готовы видеть Вас и приглашаем посетить офисы Тринити для обсуждения решения поставленных ИТ-задач с нашими менеджерами, экспертами, инженерами и руководством компании. При необходимости мы готовы организовать встречи заказчиков с представителями вендоров (производителей) и поставщиков. Также наши сотрудники готовы приехать на вашу площадку для знакомства и детальной проработки ИТ-инфраструктуры и функционирования ИТ-сервисов.

Система хранения данных (СХД) представляет собой комплекс программных и аппаратных средств, созданных для управления и хранения больших объёмов информации. Основными носителями информации в данное время являются жёсткие диски, объёмы которых совсем недавно достигли 1 терабайта. Основным хранилищем информации в малых компаниях являются файловые серверы и серверы СУБД, данные которых хранятся на локальных жёстких дисках. В крупных компаниях объёмы информации могут достигать сотен терабайт, причём к ним выдвигаются ещё большие требования по скорости и надёжности. Никакие локально подключенные к серверам диски не могут удовлетворить этим потребностям. Именно поэтому крупные компании внедряют системы хранения данных (СХД).

Основными компонентами СХД являются: носители информации, системы управления данными и сети передачи данных.

• Носители информации. Как уже было сказано выше, сейчас основными носителями информации являются жёсткие диски (возможно в ближайшем будущем будут заменены твердотельными электронными накопителями SSD). Жёсткие диски, подразделяются на 2 основных типа: надёжные и производительные SAS (Serial Attached SCSI) и более экономичные SATA. В системах резервного копирования также применяются ленточные накопители (стриммеры).
• Системы управления данными. СХД предоставляет мощные функции по управлению данными. СХД обеспечивает функции зеркалирования и репликации данных между системами, поддерживает отказоустойчивые, самовосстанавливающиеся массивы, предоставляет функции мониторинга, а также функции резервного копирования на аппаратном уровне.
• Сети передачи данных. Сети передачи данных предоставляют среду, по которой осуществляется связь между серверами и СХД или связь одной СХД с другой. Жёсткие диски разделяют по типу подключения: DAS (Direct Attached Storage) - непосредственно подключенные к серверу диски, NAS (Network Attached Storage) – диски, подключенные по сети (доступ к данным осуществляется на уровне файлов, обычно по FTP, NFS или SMB) и SAN (Storage Area Network) – сети хранения данных (предоставляют блочный доступ). В крупных системах хранения данных основным типом подключения является SAN. Существует 2 метода построения SAN на основе Fibre Channel и iSCSI. Fibre Channel (FC) в основном применяется для соединения внутри одного центра обработки данных. А iSCSI представляет собой протокол передачи SCSI команд поверх IP, которые могут маршрутизироваться обычными IP маршрутизаторами. iSCSI позволяет строить гео-распределённые кластеры.

Решение СХД на базе массивов HP и коммутаторов CISCO, объём данных свыше 1 ПБ (1 петабайт).

Основными производителями устройств, применяемых для построения СХД, являются HP, IBM, EMC, Dell, Sun Microsystems и NetApp. Cisco Systems предлагает широкий выбор Fibre Channel коммутаторов, обеспечивающих связь между устройствами СХД.

Компания ЛанКей имеет большой опыт построения систем хранения данных на базе оборудования перечисленных выше производителей. При построении СХД мы сотрудничаем с производителями и строим высокопроизводительные и высоконадёжные системы хранения информации. Наши инженеры спроектируют и внедрят СХД, соответствующую специфике вашего бизнеса, а также разработают систему управления вашими данными.

Как известно, в последнее время наблюдается интенсивное увеличение объемов накапливаемой информации и данных. Исследование, проведенное IDC «Цифровая вселенная», продемонстрировало, что мировой объем цифровой информации к 2020 г. способен увеличиться с 4,4 зеттебайт до 44 зеттебайт. По словам экспертов, каждые два года объем цифровой информации удваивается. Поэтому сегодня чрезвычайно актуальной является проблема не только обработки информации, но также и ее хранения.

Для решения данного вопроса в настоящее время наблюдается весьма активное развитие такого направления, как развитие СХД (сетей/систем хранения данных). Попробуем разобраться, что именно современная ИТ-индустрия подразумевает под понятием «система хранения данных».

СХД – это программно-аппаратное комплексное решение, направленное на организацию надежного и качественного хранения различных информационных ресурсов, а также предоставления бесперебойного доступа к этим ресурсам.

Создание подобного комплекса должно помочь в решении самых разных задач, встающих перед современным бизнесом в ходе построения цельной информационной системы.

Основные компоненты СХД :

Устройства хранения (ленточная библиотека, внутренний либо внешний дисковый массив);

Система мониторинга и управления;

Подсистема резервного копирования/ архивирования данных;

Программное обеспечение управления хранением;

Инфраструктура доступа ко всем устройствам хранения.

Основные задачи

Рассмотрим наиболее типичные задачи:

Децентрализация информации. Некоторые организации обладают развитой филиальной структурой. Каждое отдельное подразделение такой организации должно обладать свободным доступом ко всей информации, необходимой ему для работы. Современные СХД взаимодействуют с пользователями, которые находится на большом расстоянии от центра, где выполняется обработка данных, поэтому способны решить эту задачу.

Невозможность предусмотреть конечные требуемые ресурсы. Во время планирования проекта определить, с каким именно объемами информации придется работать во время эксплуатации системы, бывает крайне сложно. Кроме этого, постоянно увеличивается масса накапливаемых данных. Большинство современных СХД обладает поддержкой масштабируемости (способности наращивать свою производительность после добавления ресурсов), поэтому мощность системы можно будет увеличивать пропорционально возрастанию нагрузок (производить апгрейд).

Безопасность всей хранимой информации. Проконтролировать, а также ограничить доступ к информационным ресурсам предприятия бывает довольно сложно. Неквалифицированные действия обслуживающего персонала и пользователей, умышленные попытки вредительства – все это способно нанести хранящимся данным значительный вред. Современные СХД используют различные схемы отказоустойчивости, позволяющие противостоять как умышленным диверсиям, так и неумелым действиям неквалифицированных сотрудников, сохранив тем самым работоспособность системы.

Сложность управления распределенными информационными потоками – любое действие, направленное на изменение распределенных информационных данных в одном из филиалов, неизбежно создает ряд проблем – от сложности синхронизации разных баз данных и версий файлов разработчиков до ненужного дублирования информации. Программные продукты управления, поставляемые вместе с СХД , помогут вам оптимально упростить и эффективно оптимизировать работу с хранимой информацией.

Высокие расходы. Как показали результаты проведенного IDC Perspectives исследования, расходы на хранение данных составляют порядка двадцати трех процентов от всех расходов на IT. Эти расходы включают стоимость программной и аппаратной частей комплекса, выплаты обслуживающему персоналу и пр. Использование СХД позволяет сэкономить на администрировании системы, а также обеспечивает снижение расходов на персонал.

Основные типы СХД

Все системы хранения данных подразделяются на 2 типа: ленточные и дисковые СХД . Каждый из двух вышеупомянутых видов делится, в свою очередь, на несколько подвидов.

Дисковые СХД

Такие системы хранения данных используются для создания резервных промежуточных копий, а также оперативной работы с различными данными.

Дисковые СХД подразделяются на следующие подвиды:

Устройства для резервных копий (различные дисковые библиотеки);

Устройства для рабочих данных (оборудование, характеризующееся высокой производительностью);

Устройства, используемые для длительного хранения архивов.

Ленточные СХД

Используются для создания архивов, а также резервных копий.

Ленточные СХД подразделяются на следующие подвиды:

Ленточные библиотеки (два либо более накопителей, большое количество слотов для лент);

Автозагрузчики (1 накопитель, несколько слотов, предназначенных для лент);

Отдельные накопители.

Основные интерфейсы подключения

Выше мы рассмотрели основные типы систем, а теперь давайте разберемся подробнее со структурой самих СХД . Современные системы хранения данных подразделяются в соответствии с типом используемых ими интерфейсов подключения хостов. Рассмотрим ниже 2 наиболее распространенных внешних интерфейса подключения - SCSI и FibreChannel. Интерфейс SCSI напоминает широко распространенный IDE и представляет собой параллельный интерфейс, который допускает размещение на одной шине от шестнадцати устройств (для IDE, как известно, два устройства на канал). Максимальная скорость SCSI протокола сегодня составляет 320 мегабайт в секунду (версия, которая будет обеспечивать скорость в 640 мегабайт в секунду, сегодня находится в разработке). Недостатки SCSI следующие – неудобные, не обладающие помехозащищенностью, слишком толстые кабели, максимальная длина которых не превышает двадцати пяти метров. Сам протокол SCSI тоже накладывает определенные ограничения – как правило, это 1 инициатор на шине плюс ведомые устройства (стримеры, диски и пр.).

Интерфейс FibreChannel используется реже, чем интерфейс SCSI, так как оборудование, используемое для данного интерфейса, стоит дороже. Кроме этого, FibreChannel используется для развертывания крупных SAN сетей хранения данных, поэтому используется он только в крупных компаниях. Расстояния могут быть, практически, любыми – от стандартных трехсот метров на типовом оборудовании до двух тысяч километров для мощных коммутаторов («директоров»). Основным преимуществом интерфейса FibreChannel является возможность объединить многие устройства хранения и хосты (сервера) в общую SAN сеть хранения данных. Менее важными преимуществами являются: большие, чем со SCSI, расстояния, возможность агрегирования каналов и резервирования путей доступа, возможность «горячего подключения» оборудования, более высокая помехозащищенность. Используются двухжильные одно- и многомодовые оптические кабели (с коннекторами типа SC либо LC), а также SFP – оптические трансмиттеры, изготавливаемые на основе лазерных либо светодиодных излучателей (от этих компонентов зависит максимальное расстояние между используемыми устройствами, а также скорость передачи).

Варианты топологий СХД

Традиционно СХД используется для подключения серверов к DAS – системе хранения данных. Кроме DAS существуют еще и NAS – устройства хранения данных, которые подключаются к сети, а также SAN – составляющие сетей хранения данных. SAN и NAS системы были созданы как альтернатива архитектуре DAS. При этом каждое из вышеупомянутых решений разрабатывалось в качестве ответа на постоянно увеличивающиеся требования к современным системам хранения данных и основывалось на применении доступных на тот момент технологий.

Архитектуры первых сетевых систем хранения разработаны были в 1990-х годах для устранения наиболее ощутимых недостатков DAS систем. Сетевые решения в сфере систем хранения были предназначены для реализации вышеперечисленных задач: снижения затрат и сложности управления данными, уменьшения трафика локальных сетей, повышения общей производительности и степени готовности данных. При этом архитектуры SAN и NAS решают разные аспекты одной общей проблемы. В результате одновременно стали существовать 2 сетевые архитектуры. Каждая из них обладает собственными функциональными возможностями и преимуществами.

DAS

(D irect A ttached S torage) – это архитектурное решение, используемое в случаях, когда устройство, применяемое для хранения цифровых данных, подключено по протоколу SAS через интерфейс непосредственно к серверу либо к рабочей станции.

Основные преимущества DAS систем: невысокая, сравнительно с остальными решениями СХД, стоимость, простота развертывания, а также администрирования, высокоскоростной обмен данными между сервером и системой хранения.

Вышеперечисленные преимущества позволили DAS системам стать чрезвычайно популярными в сегменте небольших корпоративных сетей, хостинг-провайдеров и малых офисов. Но при этом у DAS-систем имеются и свои недостатки, например, не оптимальная утилизация ресурсов, объясняемая тем, что для каждой DAS-системы требуется подключение выделенного сервера, кроме этого, каждая такая система позволяет подключить к дисковой полке не больше двух серверов в определенной конфигурации.

Преимущества:

Доступная стоимость. СХД представляет собой по сути установленную за пределами сервера дисковую корзину, снабженную жесткими дисками.

Обеспечение высокоскоростного обмена между сервером и дисковым массивом.

Недостатки:

Недостаточная надежность – в случае аварии либо возникновения в сети каких-либо проблем сервера перестают быть доступными ряду пользователей.

Высокая латентность, возникающая из-за того, что все запросы обрабатываются одним сервером.

Низкая управляемость – доступность всей емкости одному серверу уменьшает гибкость распределения данных.

Низкая утилизация ресурсов – требуемые объемы данных предсказать сложно: одни устройства DAS в организации могут испытывать избыток емкости, а другим может ее не хватать, поскольку перераспределение емкости обычно бывает слишком трудоемким либо вовсе невозможным.

NAS

(N etwork A ttached S torage) – это интегрированная отдельно стоящая дисковая система, включающая в себя NAS сервер с собственной специализированной операционной системой и набором полезных для пользователей функций, обеспечивающих быстрый запуск системы, а также доступ к любым файлам. Подключается система к обыкновенной компьютерной сети, позволяя пользователям данной сети решить проблему недостатка свободного дискового пространства.

NAS - хранилище, которое подключается к сети как обычное сетевое устройство, обеспечивая файловый доступ к цифровым данным. Любое устройство NAS представляет собой комбинацию системы хранения данных и сервера, к которому подключена эта система. Простейшим вариантом NAS устройства является сетевой сервер, который предоставляет файловые ресурсы.

Состоят NAS устройства из головного устройства, которое выполняет обработку данных, а также соединяет цепочку дисков в единую сеть. NAS обеспечивают использование систем хранения данных в сетях Ethernet. Совместный доступ к файлам организуется в них при помощи протокола TCP/IP. Подобные устройства обеспечивают совместное использование файлов даже теми клиентами, системы которых функционируют под управлением разных операционных систем. В отличие от DAS архитектуры, в NAS системах сервера для повышения общей емкости в автономный режим можно не переводить; добавлять диски в структуру NAS можно посредством простого подключения устройства в сеть.

NAS технология развивается сегодня в качестве альтернативы универсальным серверам, несущим в себе большое количество различных функций (электронная почта, факс сервер, приложения, печать и пр.). NAS-устройства, в отличие от универсальных серверов, выполняют всего одну функцию – файлового сервера, стараясь делать это максимально быстро, просто и качественно.

Подключение NAS к ЛВС обеспечивает доступ к цифровой информации неограниченному числу гетерогенных клиентов (то есть клиентов с разными операционными системами) либо другим серверам. Сегодня практически все устройства NAS используются в сетях Ethernet на основе TCP/IP протоколов. Доступ к NAS устройствам осуществляется посредством использования специальных протоколов доступа. Самые распространенные протоколы файлового доступа – DAFS, NFS, CIFS. Внутри таких серверов устанавливаются специализированные операционные системы.

NAS-устройство может выглядеть как обычная «коробочка», снабженная одним портом Ethernet, а также парой жестких дисков, а может представлять собой огромную систему, снабженную несколькими специализированными серверами, огромным количеством дисков, а также внешних Ethernet-портов. Иногда устройства NAS представляют собой часть SAN-сети. В этом случае они собственных накопителей не имеют, а лишь предоставляют доступ к тем данным, которые располагаются на блочных устройствах. В данном случае NAS выступает как мощный специализированный сервер, а SAN – как устройство хранения данных. Из SAN и NAS компонентов в данном случае формируется единая DAS топология.

Преимущества

Невысокая стоимость, доступность ресурсов для отдельных серверов, а также для любого компьютера организации.

Универсальность (один сервер способен обслуживать клиентов Unix, Novell, MS, Mac).

Простота развертывания, а также администрирования.

Простота совместного использования ресурсов.

Недостатки

Доступ к информации посредством протоколов сетевых файловых систем часто бывает более медленным, чем доступ к локальному диску.

Большая часть доступных по цене NAS-серверов не в состоянии обеспечивать гибкий, скоростной метод доступа, который обеспечивается современными SAN системами (на уровне блоков, а не файлов).

SAN

(S torage A rea N etwork) - это архитектурное решение позволяет подключать к серверам внешние устройства хранения данных (ленточные библиотеки, дисковые массивы, оптические накопители и пр.). При таком подключении внешние устройства распознаются операционной системой как локальные. Использование SAN сети позволяет снизить совокупную стоимость содержания системы хранения данных и позволяет современным организациям организовать надежное хранение своей информации.

Простейший вариант SAN – это СХД , сервера и коммутаторы, объединенные оптическими каналами связи. Кроме дисковых систем хранения данных, в SAN могут быть подключены дисковые библиотеки, стримеры (ленточные библиотеки), устройства, используемые для хранения информации на оптических дисках и пр.

Преимущества

Надежностью доступа к тем данным, которые находятся на внешних системах.

Независимость SAN топологии от используемых серверов и систем хранения данных.

Безопасность и надежность централизованного хранения данных.

Удобство централизованного управления данными и коммутацией.

Возможность перенести в отдельную сеть трафика ввода-вывода, обеспечивающая разгрузку LAN.

Низкая латентность и высокое быстродействие.

Гибкость и масштабируемость логической структуры SAN.

Фактическая неограниченность географических размеров SAN.

Возможность оперативного распределения ресурсов между серверами.

Простота схемы резервного копирования, обеспечиваемая тем, что все данные располагаются в одном месте.

Возможность создания отказоустойчивых кластерных решений на основе имеющейся SAN без дополнительных затрат.

Наличие дополнительных сервисов и возможностей, таких как удаленная репликация, снапшоты и пр.

Высокий уровень безопасности SAN/

Единственным недостатком подобных решений является их высокая стоимость. В целом, отечественный рынок систем хранения данных отстает от рынка развитых западных государств, для которого характерно широкое использование СХД . Высокая стоимость и дефицит скоростных каналов связи – главные причины, тормозящие развитие российского рынка СХД .

RAID

Говоря о системах хранения данных, обязательно следует рассмотреть и одну и главных технологий, лежащих в основе работы таких систем и повсеместно используемых в современной IT-индустрии. Мы имеем в виду RAID-массивы.

RAID-массив состоит из нескольких дисков, которые управляются контроллером и связаны между собой посредством скоростных каналов передачи данных. Внешней системой такие диски (запоминающие устройства) воспринимаются в качестве единого целого. Тип используемого массива непосредственным образом влияет на степень быстродействия и отказоустойчивости. RAID-массивы используются для увеличения надежности хранения данных, а также для повышения скорости записи/чтения.

Существует несколько уровней RAID, используемых при создании сетей хранения данных. Чаще всего используются следующие уровни:

1. Это дисковый массив увеличенной производительности, без отказоустойчивости, с чередованием.
Информация разбивается на отдельные блоки данных. Записывается она одновременно на два либо несколько дисков.

Плюсы:

Суммируется объем памяти.

Значительное увеличение производительности (количество дисков непосредственно влияет на кратность повышения производительности).

Минусы:

Надежность RAID 0 ниже надежности даже самого ненадежного диска, поскольку в случае отказа любого из дисков, весь массив становится неработоспособным.

2. – дисковый зеркальный массив. Этот массив состоит из пары дисков, полностью копирующих друг друга.

Плюсы:

Обеспечение при распараллеливании запросов приемлемой скорости записи, а также выигрыша по скорости чтения.

Обеспечение высокой надежности – дисковый массив такого типа функционирует до того времени, пока в нем работает хотя бы 1 диск. Вероятность поломки одновременно 2-х дисков, равная произведению вероятностей поломки каждого из них, намного ниже, чем вероятность поломки одного диска. При поломке одного диска на практике необходимо немедленно принимать меры, вновь восстанавливая избыточность. Для этого рекомендуется с RAID любого уровня (за исключением нулевого) применять диски горячего резерва.

Минусы:

Недостаток RAID 1 состоит только в том, что пользователь получает один жесткий диск по цене двух дисков.

3. . Это построенный из RAID 1 массивов массив RAID 0.

4. RAID 2 . Используется для массивов, применяющих код Хемминга.

Массивы данного типа основываются на применении кода Хемминга. Диски подразделяются на 2 группы: для данных, а также для кодов, используемых для коррекции ошибок. Данные по дискам, используемым для хранения информации, распределяются аналогично распределению в RAID 0, то есть они разбиваются на блоки небольшого размера в соответствии с количеством дисков. На оставшихся дисках хранятся все коды коррекции ошибок, которые помогают восстановить информацию в случае, если один из жестких дисков выйдет из строя. Метод Хемминга, используемый в ЕСС памяти, дает возможность исправлять на лету однократные ошибки, а также обнаруживать двукратные.

RAID 3 , RAID 4 . Это массивы дисковые с чередованием, а также выделенным диском четности. В RAID 3 данные из n дисков разбиваются на составляющие размером меньше сектора (на блоки либо байты), после чего распределяются по дискам n-1. На одном диске хранятся блоки четности. В массиве RAID 2 для данной цели использовался n-1 диск, однако большинство информации на контрольных дисках использовалось для коррекции на лету ошибок, тогда как большинству пользователей при поломке диска достаточно простого восстановления информации (для этого бывает достаточно информации, которая помещается на одном жестком диске).

Массив RAID 4 напоминает RAID 3, однако, данные на нем разбиваются не на отдельные байты, а на блоки. Это отчасти позволило решить проблему недостаточно высокой скорости передачи данных, имеющих небольшой объем. Запись при этом осуществляется чересчур медленно из-за того, что при записи генерируется четность для блока, записываясь на единственный диск.
От RAID 2 RAID 3 отличается невозможностью скорректировать ошибки на лету, а также меньшей избыточностью.

Плюсы:

Облачные провайдеры тоже осуществляют активные закупки для своих нужд систем хранения данных, к примеру, Facebook и Google строят из готовых компонентов по индивидуальному заказу собственные серверы, но эти серверы в отчете IDC не учитываются.

Также в компании IDC ожидают, что вскоре развивающиеся рынки в отношении потребления СХД существенно обгонят рынки развитые, поскольку им свойственны более высокие темпы экономического роста. К примеру, регион Восточной и Центральной Европы, Африки и Ближнего Востока в 2014 г. по расходам на системы хранения данных превзойдет Японию. К 2015 г. Азиатско-Тихоокеанский регион, исключая Японию, по объему потребления систем хранения данных превзойдет Западную Европу.

Выполняемая нашей компанией «Навигатор» продажа систем хранения данных дает возможность каждому желающему получить надежную и долговечную основу для хранения своих мультимедийных данных. Широкий выбор Raid массивов, сетевых хранилищ и прочих систем дает возможность в индивидуальном порядке подобрать для каждого заказа RAID со второго по четвертый является невозможность осуществления параллельных операций записи, объясняемая тем, что для хранения цифровой информации о четности применяется отдельный контрольный диск. У RAID 5 вышеупомянутый недостаток отсутствует. Запись контрольных сумм и блоков данных осуществляется автоматически на все диски, асимметричность конфигурации дисков отсутствует. Под контрольными суммами имеется в виду результат операции XOR.XOR дает возможность заменить результатом любой операнд и, использовав алгоритм XOR, в результате получить недостающий операнд. Чтобы сохранить результат XOR , необходим всего один диск (размер его идентичен размеру любого диска в raid).

Плюсы:

Популярность RAID5 объясняется, прежде всего, его экономичностью. На запись на том RAID5 тратятся дополнительные ресурсы, что приводит в итоге к падению производительности, поскольку необходимы дополнительные вычисления, а также операции записи. Но зато при чтении (в сравнении с отдельным жестким диском) имеется определенный выигрыш, состоящий в том, что идущие с нескольких дисков потоки данных могут обрабатываться параллельно.

Минусы:

RAID 5 характеризуется намного более низкой производительностью, особенно при проведении операций, связанных с записью в произвольном порядке (типа Random Write), при которых производительность уменьшается на 10-25 процентов от производительности RAID 10 или RAID 0. Происходит это потому, что данному процессу требуется больше операций с дисками (происходит замена каждой операции записи сервера на RAID контроллере на 3 операции – 1 операцию чтения и 2 операции записи). Минусы RAID 5 проявляются тогда, когда из строя выходит один диск – при этом наблюдается переход всего тома в критический режим, все операции чтения и записи сопровождаются дополнительными манипуляциями, что приводит к резкому падению производительности. Уровень надежности при этом падает до уровня надежности RAID 0, снабженного соответствующим количеством дисков, становясь в n раз меньше надежности одиночного диска. В случае, если до восстановления массива выйдет из строя еще хоть один диск либо на нем возникнет невосстановимая ошибка, массив разрушится, причем данные на нем обычными методами восстановить не удастся. Учтите также, что процесс восстановления за счет избыточности данных RAID, носящий название RAID Reconstruction, после того, как диск выйдет из строя, вызовет интенсивную непрерывную нагрузку чтения со всех дисков, которая будет сохраняться в течение многих часов. В результате этого один из оставшихся дисков может выйти из строя. Также могут выявиться не обнаруженные ранее сбои чтения данных вcold data массивах (тех данных, к которым во время обычной работы массива не обращаются – малоактивных и архивных), что приводит к повышению риска сбоя во время восстановления данных.

6. – это массив RAID 50, который построен из массивов RAID5;

7. – массив дисковый с чередованием, который использует 2 контрольные суммы, вычисляемые 2-мя независимыми способами.

RAID 6 во многом аналогичен RAID 5, однако отличается от него более высокой степенью надежности: в нем под контрольные суммы происходит выделение емкости двух дисков, две суммы рассчитываются по различным алгоритмам. Необходим RAID-контроллер более высокой мощности. Помогает защитить от кратного отказа, обеспечивая работоспособность после выхода из строя одновременно двух дисков. Организация массива требует использования минимум четырех дисков. Использование RAID-6 обычно приводит к падению производительности дисковой группы приблизительно на 10-15 процентов. Это объясняется большим объемом информации, которую приходится обрабатывать контроллеру (появляется необходимость в расчете второй контрольной суммы, а также чтении и перезаписи большего количества дисковых блоков в процессе записи каждого из блоков).

8. – это массив RAID 0, который построен из массивов RAID6.

9. Hybrid RAID . Это еще один уровень массива RAID, ставший в последнее время достаточно популярным. Это обычные уровни RAID, используемые вместе с дополнительным программным обеспечением, а также SSD-дисками, которые применяются в качестве кэша для чтения. Это приводит к увеличению производительности системы, объясняемой тем, что SSD, в сравнении с HDD, обладают намного лучшими скоростными характеристиками. Сегодня существует несколько реализаций, к примеру, Crucial Adrenaline, а также несколько бюджетных контроллеров Adaptec. В настоящее время использование Hybrid RAID из-за маленького ресурса SSD-дисков не рекомендуется.


Операции считывания в Hybrid RAID выполняются с твердотельного накопителя, обладающего большей скоростью, а операции записи осуществляются и на твердотельных накопителях, и на жестких дисках (делается это с целью выполнения резервирования).
Hybrid RAID отлично подходит для приложений, использующих данные нижнего уровня (виртуальной вычислительной машины, файлового сервера либо интернет-шлюза).

Особенности современного рынка СХД

Аналитическая компания IDC летом 2013 г. обнародовала очередной свой прогноз для рынка СХД , рассчитанный ею до 2017 г. Подсчеты аналитиков демонстрируют, что в ближайшее четырехлетие мировыми предприятиями будут закуплены СХД , общая емкость которых составит сто тридцать восемь экзабайт. Совокупная реализуемая мощность систем хранения ежегодно будет увеличиваться примерно на тридцать процентов.

Тем не менее, в сравнении с предыдущими годами, когда наблюдался бурный рост потребления хранилищ данных, темпы этого роста несколько замедлятся, так как сегодня большинство компаний использует облачные решения, отдавая предпочтение технологиям, оптимизирующим хранилища данных. Экономия места в хранилищах достигается при помощи таких средств, как виртуализация, сжатие данных, дедупликация данных и пр. Все вышеперечисленные средства обеспечивают экономию места, позволяя компаниям избегать спонтанных покупок и прибегать к приобретению новых систем хранения лишь тогда, когда в них действительно имеется необходимость.

Из 138 экзабайт, продажа которых ожидается в 2017 г., 102 экзабайта будет приходиться на внешние СХД , а 36 – на внутренние. В 2012 г. было реализовано СХД на двадцать экзабайт для внешних систем и на восемь – для внутренних. Финансовые затраты на промышленные СХД ежегодно будут увеличиваться приблизительно на 4,1 процента и к 2017 г. составят порядка сорока двух с половиной миллиардов долларов.

Мы уже отмечали, что переживший недавно настоящий бум мировой рынок СХД постепенно пошел на спад. В 2005 г. рост потребления СХД составил на промышленном уровне шестьдесят пять процентов, а в 2006, а также 2007 г. – по пятьдесят девять процентов. В последующие годы рост потребления СХД еще больше снизился из-за негативного влияния мирового экономического кризиса.

Аналитики прогнозируют, что рост использования облачных СХД приведет к уменьшению потребления решений систем хранения данных на корпоративном уровне. Облачные провайдеры тоже осуществляют активные закупки для своих нужд систем хранения данных, к примеру, Facebook и Google строят из готовых компонентов по индивидуальному заказу собственные серверы, но эти серверы в отчете IDC не учитываются.

Также в компании IDC ожидают, что вскоре развивающиеся рынки в отношении потребления СХД существенно обгонят рынки развитые, поскольку им свойственны более высокие темпы экономического роста. К примеру, регион Восточной и Центральной Европы, Африки и Ближнего Востока в 2014 г. по расходам на системы хранения данных превзойдет Японию. К 2015 г. Азиатско-Тихоокеанский регион, исключая Японию, по объему потребления систем хранения данных превзойдет Западную Европу.

Оперативная продажа систем хранения данных

Выполняемая нашей компанией «Навигатор» продажа систем хранения данных дает возможность каждому желающему получить надежную и долговечную основу для хранения своих мультимедийных данных. Широкий выбор Raid массивов, сетевых хранилищ и прочих систем дает возможность в индивидуальном порядке подобрать для каждого заказчика тот комплекс, который подойдет для него наилучшим образом.

Широкие технические возможность, грамотность и опыт персонала компании гарантируют быстрое и комплексное выполнение поставленной задачи. При этом мы не ограничивается исключительно продажей систем хранения данных, поскольку выполняем также ее настройку, запуск и последующее сервисное и техническое обслуживание.

Если Серверы - это универсальные устройства, выполняющие в большинстве случаев
- либо функцию сервера приложения (когда на сервере выполняются специальные программы, и идут интенсивные вычисления),
- либо функцию файл-сервера (т.е. некоего места для централизованного хранения файлов данных)

то СХД (Системы Хранения Данных) - устройства, специально спроектированные для выполнения таких серверных функций, как хранение данных.

Необходимость приобретения СХД
возникает обычно у достаточно зрелых предприятий, т.е. тех, кто задумывается над тем, как
- хранить и управлять информацией, самым ценным активом компании
- обеспечить непрерывность бизнеса и защиту от потери данных
- увеличить адаптируемость ИТ-инфраструктуры

СХД и виртуализация
Конкуренция заставляет компании МСБ работать эффективней, без простоев и с высоким КПД. Смена производственных моделей, тарифных планов, видов услуг происходит всё чаще. Весь бизнез современных компаний "завязан" на информационных технологиях. Потребности бизнеса меняются быстро, и мгновенно отражаются на ИТ - растут требования к надёжности и адаптируемости ИТ-инфраструктуры. Виртуализация предоставляет такие возможности, но для этого нужны недорогие и простые в обслуживании системы хранения данных.

Классификация СХД по типу подключения

DAS . Первые дисковые массивы соединялись с серверами по интерфейсу SCSI. При этом один сервер мог работать только с одним дисковым массивом. Это - прямое соединение СХД (DAS - Direct Attached Storage).

NAS . Для более гибкой организации структуры вычислительного центра - чтобы каждый пользователь мог использовать любую систему хранения - необходимо подключить СХД в локальную сеть. Это - NAS - Network Attached Storage). Но обмен данными между сервером и СХД во много раз более интенсивный чем между клиентом и сервером, поэтому в таком варианте варианте появились объективные трудности, связанные с пропускной способностью сети Ethernet. Да и с точки зрения безопасности не совсем правильно показывать СХД в общую сеть.

SAN . Но можно создать между серверами и СХД свою, отдельную, высокоскоростную сеть. Такую сеть назвали SAN (Storage Area Network). Быстродействие обеспечивается тем, что физической средой передачи там является оптика. Специальные адаптеры (HBA) и оптические FC-коммутаторы обеспечивают передачу данных на скорости 4 и 8Gbit/s. Надёжность такой сети повышалась резервированием (дупликацией) каналов (адаптеров, коммутаторов). Основным недостатком является высокая цена.

iSCSI . С появлением недорогих Ethernet-технологий 1Gbit/s и 10Gbit/s, оптика со скоростью передачи 4Gbit/s уже выглядит не так привлекательно, особенно с учетом цены. Поэтому всё чаще в качестве среды SAN используется протокол iSCSI (Internet Small Computer System Interface). Сеть iSCSI SAN может быть построена на любой достаточно быстрой физической основе, поддерживающей протокол IP.

Классификация Систем Хранения Данныхпо области применения:

класс	описание
personal	Чаще всего представляют из себя обычный 3.5" или 2.5" или 1.8" жесткий диск, помещенный в специальный корпус и оснащенный интерфейсами USB и/или FireWire 1394 и/или Ethernet, и/или eSATA. Таким образом мы имеем переносное устройство, которое может подключаться к компьютеру/серверу и выполнять функции внешнего накопителя. Иногда для удобства в устройство добавляют функции беспроводного доступа, принтерных и USB портов.
small workgroup	Обычно это стационарное или переносное устройство, в которое можно устанавливать несколько (чаще всего от 2 до 5) жестких дисков SATA, с возможностью горячей замены или без, имеющее интерфейс Ethernet. Диски можно организовывать в массивы - RAID различного уровня для достижения высокой надежности хранения и скорости доступа. СХД имеет специализированную ОС, обычно на основе Linux, и позволяет разграничивать уровень доступа по имени и паролю пользователей, организовывать квотирование дискового пространства и т.п. Такие СХД подходят для небольших рабочих групп, как замена файл-серверов.
workgroup	Устройство, обычно монтируемое в 19" стойку (rack-mount) в которое можно устанавливать 12-24 жестких дисков SATA или SAS с возможностью горячей замены HotSwap. Имеет внешний интерфейс Ethernet, и/или iSCSI. Диски организованы в массивы - RAID для достижения высокой надежности хранения и скорости доступа. СХД поставляется со специализированным программным обеспечением, которое позволяет разграничивать уровень доступа, организовывать квотирование дискового пространства, организовывать BackUp (резервное копирование информации) и т.п. Такие СХД подходят для средних и крупных предприятий, и используются совместно с одним или несколькими серверами.
enterprise	Стационарное устройство или устройство, монтируемое в 19" стойку (rack-mount) в которое можно устанавливать до сотен жестких дисков. В дополнение к предыдущему классу СХД могут иметь возможность наращивания, модернизации и замены компонент без остановки системы, системы мониторинга. Программное обеспечение может поддерживать создание "моментальных снимков" и другие "продвинутые" функции. Такие СХД подходят для больших предприятий и обеспечивают повышенную надежность, скорость и защиту критически важных данных.
high-end enterprise	В дополнение к предыдущему классу СХД может поддерживать тысячи жестких дисков. Такие СХД занимают несколько 19" кабинетов, общий вес достигает нескольких тонн. СХД предназначены для безостановочной работы с высочайшей степенью надежности, хранения стратегически важных данных уровня государства/корпораций.

История вопроса.

Первые серверы сочетали в одном корпусе все функции (как компьютеры) - и вычислительные (сервер приложений) и хранение данных (файл-сервер). Но по мере роста потребности приложений в вычислительных мощностях с одной стороны и по мере роста количества обрабатываемых данных с другой стороны - стало просто неудобно размещать все в одном корпусе. Эффективнее оказалось выносить дисковые массивы в отдельные корпуса. Но тут встал вопрос соединения дискового массива с сервером. Первые дисковые массивы соединялись с серверами по интерфейсу SCSI. Но в таком случае один сервер мог работать только с одним дисковым массивом. Народу захотелось более гибкой организации структуры вычислительного центра - чтобы любой сервер мог использовать любую систему хранения. Подключить все устройства напрямую в локальную сеть и организовать обмен данными по Ethernet - конечно, простое и универсальное решение. Но обмен данными между серверами и СХД во много раз более интенсивный чем между клиентами и серверами, поэтому в таком варианте варианте (NAS - см. ниже) появились объективные трудности, связанные с пропускной способностью сети Ethernet. Возникла идея создать между серверами и СХД свою, отдельную высокоскоростную сеть. Такую сеть назвали SAN (см. ниже). Она похожа на Ethernet, только физической средой передачи там является оптика. Там тоже есть адаптеры (HBA), которые устанавливаются в серверы и коммутаторы (оптические). Стандарты на скорость передачи данных по оптике - 4Gbit/s. С появлением технологий Ethernet 1Gbit/s и 10Gbit/s, а также протокола iSCSI всё чаще в качестве среды SAN используется Ethernet.

Зависимость бизнес-процессов предприятия от ИТ-сферы постоянно растет. На сегодня вопросу непрерывности работы ИТ-сервисов уделяют внимание не только крупные компании, но и представители среднего, а зачастую и малого бизнеса.

Одним из центральных элементов обеспечения отказоустойчивости является система хранения данных (СХД) - устройство на котором централизовано храниться вся информация. СХД характеризуется высокой масштабируемостью, отказоустойчивостью, возможностью выполнять все сервисные операции без остановки работы устройства (в том числе замену компонентов). Но стоимость даже базовой модели измеряется в десятках тысяч долларов. Например, Fujitsu ETERNUS DX100 с 12-ю дисками Nearline SAS 1Tb SFF (RAID10 6TB) стоит порядка 21 000 USD , что для небольшой компании очень дорого.

В нашей статье мы предлагаем рассмотреть варианты организации бюджетного хранилища , которое не проигрывает по производительности и надежности классическим системам. Для его реализации предлагаем использовать CEPH .

Что такое CEPH и как он работает?

CEPH – хранилище на базе свободного ПО, представляет из себя объединение дисковых пространств нескольких серверов (количество серверов на практике измеряется десятками и сотнями). CEPH позволяет создать легкомасштабируемое хранилище с высокой производительностью и избыточностью ресурсов. CEPH может использоваться как в качестве объектного хранилища (служить для хранения файлов) так и в качестве блочного устройства (отдача виртуальных жестких дисков).

Отказоустойчивость хранилища обеспечивается репликацией каждого блока данных на несколько серверов. Количество одновременно хранимых копий каждого блока называется фактором репликации, по умолчанию его значение равно 2. Схема работы хранилища показана на рисунке 1, как видим информация разбивается на блоки, каждый из которых распределяется по двум разным нодам.

Рисунок 1 - Распределение блоков данных

Если на серверах не используются отказоустойчивые дисковые массивы, для надежного хранения данных рекомендуется использовать более высокое значение фактора репликации. В случае выхода из строя одного из серверов CEPH фиксирует недоступность блоков данных (рисунок 2), которые на нем размещены, ожидает определенное время (параметр настраивается, по умолчанию 300 сек.), после чего начинает воссоздание недостающих блоков информации в другом месте (рисунок 3).

Рисунок 2 - Выход из строя одной ноды

Рисунок 3 - Восстановление избыточности

Аналогично, в случае добавления в кластер нового сервера происходит ребаллансировка хранилища с целью равномерного заполнения дисков на всех нодах. Механизм который контролирует процессы распределения блоков информации в кластере CEPH называется CRUSH.

Для получения высокой производительности дискового пространства в кластерах CEPH рекомендуется использовать функционал cache tiering (многоуровневое кэширование). Смысл его заключается в том, чтобы создать отдельный высокопроизводительный пул и использовать его для кэширования, основная же информация будет размещена на более дешевых дисках (рисунок 4).

Рисунок 4 - Логическое представление дисковых пулов

Многоуровневое кэширование будет работать следующим образом: запросы клиентов на запись будут записываться в самый быстрый пул, после чего перемещаться на уровень хранения. Аналогично по запросам на чтение – информация при обращении будет подниматься на уровень кэширования и обрабатываться. Данные продолжают оставаться на уровне кэша пока не становятся неактивными или пока не теряют актуальность (рисунок 5). Стоит отметить, что кэширование можно настроить только на чтение, в этом случае запросы на запись будут заноситься прямо в пул хранения.

Рисунок 5 - Принцип работы кэш-тирринг

Рассмотрим реальные сценарии использования CEPH в организации для создания хранилища данных. В качестве потенциального клиента рассматриваются организации малого и среднего бизнеса, где будет наиболее востребована эта технология. Мы рассчитали 3 сценария использования описанного решения:

1. Производственное или торговое предприятие с требованием к доступности внутренней ERP системы и файлового хранилища 99,98% в год, 24/7.
2. Организация, которой для ее бизнес-задач требуется развернуть локальное частное облако.
3. Очень бюджетное решение для организации отказоустойчивого блочного хранилища данных, полностью независимое от аппаратного обеспечения с доступностью 99,98% в год и недорогим масштабированием.

Сценарий использования 1. Хранилище данных на базе CEPH

Рассмотрим реальный пример применения CEPH в организации. Например, нам требуется отказоустойчивое производительное хранилище объемом 6 Тб, но затраты даже на базовую модель СХД с дисками составляют порядка $21 000 .

Собираем хранилище на базе CEPH. В качестве серверов предлагаем использовать решение Supermicro Twin (Рисунок 6). Продукт представляет собой 4 серверные платформы в едином корпусе высотой 2 юнита, все основные узлы устройства дублируются, что обеспечивает его непрерывное функционирование. Для реализации нашей задачи будет достаточно использовать 3 ноды, 4-я будет в запасе на будущее.

Рисунок 6 - Supermicro Twin

Комплектуем каждую из нод следующим образом: 32 Гб ОЗУ, 4-х ядерный процессор 2,5 Ггц, 4 SATA диска по 2 Тб для пула хранения объединяем в 2 массива RAID1, 2 SSD диска для пула кэширования также объединяем в RAID1 . Стоимость всего проекта указана в таблице 1.

Таблица 1. Комплектующие для хранилища на базе CEPH

Комплектующие	Цена, USD	Кол-во	Стоимость, USD
	4 999,28	1	4 999,28
	139,28	6	835,68
Процессор Ivy Bridge-EP 4-Core 2.5GHz (LGA2011, 10MB, 80W, 22nm) Tray	366,00	3	1 098,00
	416,00	12	4 992,00
	641,00	6	3 846,00
ИТОГО			15 770,96

Вывод: В результате построения хранилища получим дисковый массив 6Tb c затратами порядка $16 000 , что на 25% меньше чем закупка минимальной СХД, при этом на текущих мощностях можно запустить виртуальные машины, работающие с хранилищем, тем самым сэкономить на покупке дополнительных серверов. По сути – это законченное решение.

Серверы, из которых строится хранилище, можно использовать не только как вместилище жестких дисков, но в качестве носителей виртуальных машин или серверов приложений.

Сценарий использования 2. Построение частного облака

Задача состоит в том, чтобы развернуть инфраструктуру для построения частного облака с минимальными затратами.

Построение даже небольшого облака состоящего из например из 3-х носителей примерно в $36 000 : $21 000 – стоимость СХД + $5000 за каждый сервер с 50% наполнением.

Использование CEPH в качестве хранилища позволяет совместить вычислительные и дисковые ресурсы на одном оборудовании. То есть не нужно закупать отдельно СХД - для размещения виртуальных машин будут использоваться диски установленные непосредственно в серверы.

Краткая справка:
Классическая облачная структура представляет из себя кластер виртуальных машин, функционирование которых обеспечивают 2 основных аппаратных компонента:

1. Вычислительная часть (compute) - серверы, заполненные оперативной памятью и процессорами, ресурсы которых используются виртуальными машинами для вычислений
2. Система хранения данных (storage) – устройство наполненное жесткими дисками, на котором хранятся все данные.

В качестве оборудования берем те же серверы Supermicro, но ставим более мощные процессоры – 8-ми ядерные с частотой 2,6 GHz, а также 96 Гб ОЗУ в каждую ноду , так как система будет использоваться не только для хранения информации, но и для работы виртуальных машин. Набор дисков берем аналогичный первому сценарию.

Таблица 2. Комплектующие для частного облака на базе CEPH

Комплектующие	Цена, USD	Кол-во	Стоимость, USD
Supermicro Twin 2027PR-HTR: 4 hot-pluggable systems (nodes) in a 2U form factor. Dual socket R (LGA 2011), Up to 512GB ECC RDIMM, Integrated IPMI 2.0 with KVM and Dedicated LAN. 6x 2.5" Hot-swap SATA HDD Bays. 2000W Redundant Power Supplies	4 999,28	1	4 999,28
Модуль памяти Samsung DDR3 16GB Registered ECC 1866Mhz 1.5V, Dual rank	139,28	18	2 507,04
Процессор Intel Xeon E5-2650V2 Ivy Bridge-EP 8-Core 2.6GHz (LGA2011, 20MB, 95W, 32nm) Tray	1 416,18	3	4 248,54
Жесткий диск SATA 2TB 2.5" Enterprise Capacity SATA 6Gb/s 7200rpm 128Mb 512E	416	12	4 992,00
Твердотельный накопитель SSD 2.5"" 400GB DC S3710 Series.	641	6	3 846,00
ИТОГО			20 592,86

Собранное облако будет иметь следующие ресурсы с учетом сохранения стабильности при выходе из строя 1-й ноды:

• Оперативная память: 120 Гб
• Дисковое пространство 6000 Гб
• Процессорные ядра физические: 16 Шт.

Собранный кластер сможет поддерживать порядка 10 средних виртуальных машин с характеристиками: 12 ГБ ОЗУ / 4 процессорных ядра / 400 ГБ дискового пространства.

Также стоит учесть что все 3 сервера заполнены только на 50% и при необходимости их можно доукомплектовать, тем самым увеличив пул ресурсов для облака в 2 раза.

Вывод: Как видим, мы получили как полноценный отказоустойчивый кластер виртуальных машин, так и избыточное хранилище данных - выход из строя любого из серверов не критичен – система продолжит функционирование без остановки, при этом стоимость решения примерно в 1,5 раза ниже , чем купить СХД и отдельные сервера.

Сценарий использования 3. Построение сверхдешевого хранилища данных

Если бюджет совсем ограничен и нет денег на закупку оборудования описанного выше, можно закупить серверы бывшие в употреблении, но на дисках экономить не стоит – их настоятельно рекомендуется купить новые.

Предлагаем рассмотреть следующую структуру: закупается 4 серверные ноды, в каждый сервер ставиться по 1 SSD-диску для кэширования и по 3 SATA диска . Серверы Supermicro с 48 ГБ ОЗУ и процессорами линейки 5600 можно сейчас купить примерно за $800 .

Диски не будут собираться в отказоустойчивые массивы на каждом сервере, а будут представлены как отдельное устройство. В связи с этим для повышения надежности хранилища будем использовать фактор репликации 3. То есть у каждого блока будет 3 копии. При такой архитектуре зеркалирования дисков SSD кеша не требуется, так как происходит автоматическое дублирование информации на другие ноды.

Таблица 3. Комплектующие для стореджа

Вывод: В случае необходимости в данном решении можно использовать диски большего объема, либо заменить их на SAS, если нужно получить максимальную производительность для работы СУБД. В данном примере в результате получим хранилище объемом 8 ТБ с очень низкой стоимостью и очень высокой отказоустойчивостью. Цена одного терабайта получилась в 3,8 раза дешевле , чем при использовании промышленной СХД за $21000.

Итоговая таблица, выводы

Конфигурация	СХД Fujitsu ETERNUS DX100 + 12 Nearline SAS 1Tb SFF (RAID10)	СХД Fujitsu ETERNUS DX100 + 12 Nearline SAS 1Tb SFF (RAID10) + Supermicro Twin	Наш сценарий 1: хранилище на базе CEPH	Наш сценарий 2: построение частного облака	Нашсценарий 3: построение сверхдешевого хранилища
Полезный обьем, ГБ	6 000	6 000	6 000	6000	8 000
Цена, USD	21000	36000	15 770	20 592	7 324
Стоимость 1 ГБ, USD	3,5	6	2,63	3,43	0,92
Количество IOPs* (чтение 70%/запись 30%, Размер блока 4К)	760	760	700	700	675
Назначение	Хранилище	Хранилище + Вычисление	Хранилище + Вычисление	Хранилище + Вычисление	Хранилище + Вычисление

*Расчет количества IOPs выполнен для созданных массивов из дисков NL SAS на СХД и дисков SATA на сторедже CEPH, кэширование отключалось для чистоты полученных значений. При использовании кэширования показатели IOPs будут значительно выше до момента заполнения кэша.

В итоге можно сказать, что на основе кластера CEPH можно строить надежные и дешевые хранилища данных. Как показали расчеты, использовать ноды кластера только для хранения не очень эффективно – решение выходит дешевле чем закупить СХД, но не на много – в нашем примере стоимость хранилища на CEPH была примерно на 25% меньше чем Fujitsu DX100. По-настоящему экономия ощущается в результате совмещения вычислительной части и хранилища на одном оборудовании - в таком случае стоимость решения будет в 1,8 раз меньше, чем при построении классической структуры с применением выделенного хранилища и отдельных хост-машин.

Компания EFSOL реализует данное решение по индивидуальным требованиям. Мы можем использовать имеющееся у вас оборудование, что ещё более снизит капитальные затраты на внедрение системы. Свяжитесь с нами и мы проведем обследование вашего оборудования на предмет его использования при создании СХД.