Технологии NetApp: управление данными без ограничений

СХД для высокопроизводительных вычислений – на что обратить внимание?

К системам хранения данных, предназначенным для высокопроизводительных вычислений, предъявляются особые требования в вопросах скорости работы, надежности и стоимости владения. Обычные СХД здесь не подойдут – нужны программно-аппаратные комплексы, учитывающие все нюансы работы в условиях очень высоких нагрузок.

Мировые рекорды вычислительной мощности

Высокопроизводительные вычисления – важнейшая часть глобальной ИТ-индустрии. Системы класса HPC (High Performance Computing) сегодня используются практически во всех сферах науки и экономики. Ведь зачастую объемы данных настолько огромны, а современные задачи столь сложны, что для работы с ними нужны запредельные вычислительные мощности. Суперкомпьютерные системы используются в ядерной физике, химии, фармакологии, геологии, метеорологии, архитектурном и конструкторском деле, при создании спецэффектов, моделировании финансовых и социальных процессов. Очевидно, что спектр их применения практически неограничен. Не говоря уже о том, что подобные решения являются незаменимым элементом систем национальной обороны во всех развитых странах.

Неудивительно, что количество и мощность суперкомпьютеров в мире неуклонно растет. Начиная с 1993 г., некоммерческая организация ТОР500 публикует рейтинг наиболее производительных мировых вычислительных систем. Список, который включает, соответственно, 500 суперкомпьютеров, выходит дважды в год – в июне и ноябре. Причем в каждой редакции – очередной рекорд. Например, наиболее свежий рейтинг показал, что суммарная мощность всех систем в перечне впервые превысила вычислительную мощность в 1 Эксафлопс – 1018 операций с плавающей запятой в секунду (речь идет о пиковых показателях на тесте Linpack), при этом почти 1/5 этого показателя пришлась на лидера рейтинга – американскую систему Summit, которая содержит более 2,4 млн. вычислительных ядер и потребляет свыше 10 МВт в пиковой нагрузке (полная мощность всего комплекса – 13-15 МВт). Есть в списке и более масштабные, но при этом менее производительные, суперкомпьютеры. Так китайский Sunway TaihuLight содержит 10,65 млн. вычислительных ядер, а максимальное энергопотребление системы Tianhe-2A (также из КНР) превышает 18 МВт.

Такие решения стоят немалых денег, но правительства, научные институты и корпорации не жалеют средств на их создание, поскольку огромная вычислительная мощность создает недостижимое конкурентное преимущество, в скорости решения важнейших задач. Конечно, упомянутые суперкомпьютеры – это мировые рекордсмены, на примере которых удобно продемонстрировать развитие отрасли в целом, но даже серийные высокопроизводительные системы показывают сегодня высочайшие результаты.

СХД для HPC – базовые критерии

Любой суперкомпьютерный/высокопроизводительный комплекс включает в себя 4 базовых структуры, в числе которых: вычислительное оборудование (серверы), системы хранения данных, высокоскоростная сеть и специальное программное обеспечение.

datacenter600400.png
К числу основных аспектов СХД, на которые следует обращать внимание в первую очередь относятся: производительность и масштабируемость, отказоустойчивость, удобство и простота эксплуатации, а также общая стоимость владения (ТСО).

Каждый из этих компонентов важен не только сам по себе, но и в составе решения. Невозможно сказать – какой из них имеет решающее значение. Однако, когда говорят о достижениях суперкомпьютеров, как правило, вспоминают производительность серверов, незаслуженно отодвигая на периферию другие составляющие.

Вместе с тем, без высокопроизводительных СХД любые вычислительные рекорды потеряют практический смысл. Система хранения (равно, как и сетевая подсистема) должна соответствовать мощности серверов. Но, здесь много нюансов. В числе основных аспектов, на которые следует обращать внимание в первую очередь можно назвать: производительность и масштабируемость, отказоустойчивость, удобство и простоту эксплуатации, а также общую стоимость владения (ТСО). Нагляднее всего рассмотреть эти характеристики на примере конкретного решения, в качестве которого возьмем новую All-Flash СХД NetApp EF600, которая появилась на рынке в сентябре 2019 г., ведь одной из сфер ее применения являются именно суперкомпьютерные вычисления.

Производительность и масштабируемость

Система хранения данных не должна стать узким местом HPC-вычислений. И здесь есть три ключевых показателя, на которые следует обращать внимание: количество операций ввода/вывода в секунду (IOPS), пропускную способность и латентность (время, необходимое накопителю для выполнения операций чтения/записи).

В случае NetApp EF600 максимальная производительность достигает 2 млн. IOPS, пропускная способность – 44 Гбит/с, а латентность – менее 100 миллисекунд. При этом, каждая система, будучи выполненной в форм-факторе 2U, вмещает 24 SSD-накопителя, общим объемом до 360 ТБ. Поддерживаются технологии передачи данных NVMe/IB, NVMe/RoCE, NVMe/FC, сетевые интерфейсы 100 Гбит/с. К тому же решение адаптировано для работы с базами данных Oracle и Microsoft SQL Server, а также может работать со специальными файловыми системами для высокопроизводительных вычислений – Luster, IBM Spectrum Scale и BeeGFS.

Отметим и то, что масштабирование СХД может производиться «налету», без остановки продуктивной системы. «Быстрое и надежное получение нужной информации в различных средах со смешанными рабочими нагрузками может дифференцировать компанию на фоне конкурентов и сократить время вывода продуктов на рынок, – сказал Татьяна Бочарникова, глава представительства NetApp в России и странах СНГ. – EF600 помогает клиентам максимально эффективно раскрывать ценность своих данных и быстро реализовывать идеи, которые ранее были нереальны для чувствительных к производительности рабочих нагрузок, таких как базы данных Oracle, аналитика в реальном времени и высокопроизводительные вычислительные приложения вдобавок к высокопроизводительной параллельной файловой системе BeeGFS».

Отказоустойчивость

О том, какие огромные финансовые и репутационные потери может понести компания в том случае, если ее ИТ-система утратит работоспособность, написано уже немало. Повторяться нет смысла, отметим лишь, что стоимость минуты простоя растет во всех отраслях. Причем, если из строя выйдет СХД, то последствия могут быть катастрофические. Особенно, если это бизнес-критичная система, на которой работает, например, сервис бронирования авиабилетов, биллинг оператора связи или выполняются банковские транзакции. Конечно, в каждом случае потери оцениваются по-разному, но некий усредненный показатель для высоконагруженных коммерческих сред сегодня составляет ориентировочно 100 тыс. долларов США в час. Для автопроизводителей мирового уровня – это 1,3 млн. долларов США в час, для крупных банков, биржевых операторов и нефтегазовых компаний, зачастую и того больше.

С учетом этих показателей и требований бизнеса, в СХД NetApp EF600 реализован целый ряд технологий, позволяющих добиться показателя отказоустойчивости на уровне выше 99,9999% (это эквивалентно примерно 30 секунд простоя в год). Столь высокая надежность достигается, в том числе благодаря резервированию всех важнейших компонентов СХД и специальной внутренней архитектуре. Компания поставила заказчикам по всему миру свыше миллиона СХД семейства E-Series и данные, полученные в ходе их эксплуатации, подтверждают приведенную статистику.

Удобство и простота эксплуатации

Любая HPC-система, в целом, это довольно сложное решение, работа с которым может превратиться в очень непростую задачу. Это, в свою очередь, повышает вероятность совершения ошибок. Поэтому максимальная простота и прозрачность в вопросах настройки и управления – важный фактор влияющий, в том числе на общую надежность высокопроизводительного комплекса.

Важна и унификация различных решений. Так, СХД NetApp E-Series используют единую платформу для всех моделей, что обеспечивает совместимость, а также облегчает процесс установки и поддержки оборудования. Многие функции СХД автоматизированы, обеспечена динамическая репликация данных. Кроме того, здесь реализованы алгоритмы упреждающего мониторинга, которые позволяют выявить потенциальную проблему еще до ее наступления. И, конечно же, имеется возможность интеграции с внешними облачными сервисами – без этого сегодня не обходится ни одна система хранения высокого класса.

Общая стоимость владения

На эту характеристику обращают внимание, чуть ли не в первую очередь, особенно, когда речь идет о высокопроизводительных вычислениях. Ведь HPC-вычисления требуют самых передовых и новых (а, следовательно, дорогих) решений. Упомянутый выше суперкомпьютер Summit оценивается в 200 млн. долларов США (общая стоимость проекта с учетом сопутствующих работ – 325 млн. долларов США), а в создание самой дорогой системы такого класса – японской Fujitsu K, которая заработала в 2011 г. – было вложено, по различным данным, 1,2 млрд. долларов США (еще около 10 млн. долларов США ежегодно тратится на содержание комплекса).

Конечно, большинство систем стоят гораздо дешевле, но все равно, речь идет, как правило, о сотнях тысяч и даже миллионах долларов США. Поскольку такие решения приобретаются на многие годы – важно выбрать оборудование, позволяющее не только эффективно применить вложенные инвестиции, но и максимально сократить эксплуатационные расходы. В их числе наиболее заметны расходы на электроэнергию, стоимость места в стойке дата-центра, оплата услуг квалифицированного инженерного персонала.

СХД NetApp E-Series оснащаются сверхплотными SSD-дисками, которые позволяют уместить всю систему емкостью до 360 ТБ всего в двух юнитах пространства, а пониженное энергопотребление сокращает расход электроэнергии на 40% по сравнению с другими решениями того же ценового диапазона. Вместе с тем, автоматизация основных функций, простота и надежность архитектуры, а также унификаций платформы E-Series позволяет снизить расходы, связанные с настройкой, управлением и обслуживанием. В итоге общая стоимость владения СХД оказывается оптимальной для решений своего класса.

От финансовой аналитики до буровых вышек

Быстрые, надежные и простые в управлении СХД нужны сегодня во многих сферах, но All-Flash система NetApp EF600 будет наиболее применима там, где требуется высочайшая производительность в сочетании с максимальной отказоустойчивостью и относительно низкой стоимостью владения. В первую очередь – это суперкомпьютеры, ИТ-системы финансовых компаний, комплексы, ориентированные на работу с системами искусственного интеллекта и машинного обучения, студии, создающие ресурсоемкую графику (в т.ч. AR/VR). Широкое применение находят высокопроизводительные системы и в нефтегазовом комплексе. Например, они помогают в поиске залежей полезных ископаемых и выборе оптимальных мест для бурения скважин – такие технологии, на базе HPC-систем есть у British Petroleum, Eni и других ведущих мировых компаний. Но, это только начало, ведь данных становится существенно больше, во всех сферах и для того, чтобы справится с их нарастающим потоком, нужны ультрабыстрые средства обработки и хранения информации.

Новости

Все новости

Интервью

Фёдор Прохоров:

Сбер дает доступ к своему облачному суперкомпьютеру и искусственному интеллекту

Облака из тренда превратились в норму жизни, но это не значит, что новым облачным провайдерам больше нечем удивить публику. О том, как Сбер делится своими наработками с другими компаниями и даже государством.
Развернуть