Технологии NetApp: управление данными без ограничений

Пища роботов: как хранилища данных повлияют на будущее ИИ

Источник фото: ru.depositphotos.com

Искусственный интеллект находится на пике хайпа. Роботы уже научились распознавать эмоции, ловить хакеров, понимать поведение людей. Большие изменения грядут в сфере медицины и финансов. Однако дальнейшее развитие искусственного интеллекта невозможно без специализированных решений в области хранения данных, утверждают эксперты.

Планета под управлением алгоритмов

Человечество продолжает возлагать большие надежды на роботов. В будущем люди, например, готовы доверить умным алгоритмам свое здоровье. Роботы эффективны там, где требуется обработка больших массивов данных. По мнению ученых, искусственный интеллект уже совсем скоро будет способен помогать врачам в диагностике и терапии.

Роботы могут диагностировать опухоли по рентгеновским снимкам, при этом делать это в разы быстрее и точнее, чем живые врачи. В будущем искусственный интеллект способен стать ассистентом медицинских работников. А может даже, наоборот, роботы станут полноценными врачами, тогда как люди будут нужны только для окончательного подтверждения диагнозов, данных ИИ.

Как бы там ни было ученые сходятся в одном. Искусственный интеллект будет преобразовывать медицину на протяжении длительного времени.

Здравоохранение – не единственная область, где искусственный интеллект может произвести революцию. В финансах возможности ИИ вообще не ограничены – его можно использовать в маркетинге, автоматизации проверки идентификационных данных и оценке кредитного риска. Алгоритмы глубокого обучения помогут выявить случаи финансового мошенничества. Более того, благодаря ИИ можно будет более точно прогнозировать колебания на рынке акций. Хотя принятие окончательных решений все равно останется за людьми.

В США уже сегодня созданы роботы – личные консультанты на фондовом рынке. Это проекты Wealthfront и Betterment. У первой компании уже 90 000 клиентов. У Betterment и вовсе 190 тыс. Роботы-консультанты выполняют функции личных инвестиционных менеджеров. Они определяют оптимальный для инвесторов портфель и выбирают стратегии поведения на бирже.

Машинное обучение и нейросети работают на огромных массивах данных. И чем больше будет этих данных, тем лучший результат обучения ИИ можно получить

Еще более амбициозный проект реализовала компания Ethereum. Она создала децентрализованную организацию без единого лидера по поддержке проектов на платформе Ethereum под названием ДАО. Инвесторы DAO получали токены (цифровые акции). Ими они могли голосовать – в каком направлении стоит развивать организацию.

В смарт-контрактах, используемых ДАО, планировалось использовать технологию глубокого обучения и искусственного интеллекта. ДАО удалось привлечь $103 млн инвестиций. Однако затем произошло фиаско. Платформу взломали хакеры, они похитили вложения инвесторов на сумму в 50 млн долларов.

Тем не менее, использование искусственного интеллекта в финансах имеет большие перспективы. ИИ может сократить расходы, повысить качество обслуживания клиентов. Однако поскольку финансовые экосистемы являются крайне сложными, надо уделять повышенное внимание вопросам безопасности. Ведь в случае взлома искусственный интеллект может выйти из-под контроля и превратить жизнь в большой кошмар.

Еда для роботов

Искусственный интеллект не может работать сам по себе. Для обучения ему нужны данные – большие объемы информации.

Раньше алгоритмы искусственного интеллекта работали за счет вложенных в них готовых наборов правил. Компьютер перебирал возможные решения и выбирал одно из них.

Сегодня такие методы искусственного интеллекта, как машинное обучение и нейросети, работают на огромных массивах данных. И чем больше будет этих данных, тем лучший результат обучения ИИ можно получить. Программисты закладывают в искусственный интеллект не только правильные, но и неправильные ответы, и компьютер учится их различать. Результат – компьютеры могут написать собственный алгоритм для решений какой-либо задачи, различать изображения, понимать речь людей.

Данные нужны искусственному интеллекту, как еда. И последние революции в области машинного обучения и нейросетей не случайно произошли именно сейчас. Интернет сегодня стал коммерчески важен. При этом в нем хранятся сотни терабайт неупорядоченных данных. Для их сортировки и ранжирования как раз и используются новейшие разработки в области машинного обучения.

Однако из-за устаревших серверов хранения данных искусственный интеллект может не получить доступ ко всему объему информации. Развитие ИИ требует изменения подходов к хранению данных. Большое значение приобретает объем хранилища, скорость доступа к данным и безопасность. Впрочем, на рынке серверов хранения данных (СХД) такие решения уже начали появляться.

Как устроен Винсент

В 2017 г. ученые из Кембриджа с коллегами из Prisma создали новый тип искусственного интеллекта. Его назвали «Винсент». Этот алгоритм умеет рисовать. И он склонен к инициативе. Поэтому предугадать, какую картину он создаст, никогда нельзя.

Наделить искусственный интеллект такими способностями удалось благодаря показу миллионов изображений, в том числе картин известных художников. Алгоритмы «Винсента» работают на базе системы Nvidia DGX-1 и хранилища данных NetApp.

При обучении искусственного интеллекта важно иметь доступ одновременно ко всем данным. А это десятки терабайт. Кроме того, создание умного алгоритма может требовать чтения некоторых файлов по сотне раз. Один из создателей «Винсента» Монти Барлоу (Monty Barlow) отмечает, что хранилище NetApp позволяет получить оперативный доступ к данным, при этом оно обладает высокой пропускной способностью. Благодаря правильно организованному хранилищу искусственный интеллект во время обучения имел доступ к миллиону файлов.

Технология хранения данных от NetApp интересна тем, что она заточена именно под обучение искусственного интеллекта. В ее основе – многоуровневая система управления информацией. Некоторые данные в рамках этой системы получают приоритет при передаче в контур глубокого обучения. Другие же, наоборот, перемещаются на периферию. Они могут быть сжаты или зашифрованы.

Возможность интеллектуального хранения данных дает флагманский софт компании – NetApp ONTAP 9.5. Это хранилище плотно связано со средами виртуализации и имеет высокий уровень защиты от сбоев. NetApp ONTAP 9.5 можно сочетать с технологией DataFabric, интегрирующей управление данными в облако. Это упрощает перемещение данных между разными ресурсами и позволяет увеличить объем памяти.

NetApp ONTAP 9.5 интегрирована с суперкомпьютерами Nvidia DGX-1 и DGX-2. Решение NetApp, с одной стороны, подключено к облаку, с другой к суперкомпьютерам. Таким образом, оно создает единую среду данных, позволяющую быстрее проводить обучение искусственного интеллекта. ИИ благодаря NetApp ONTAP 9.5 получает беспрепятственный доступ к данным в нужное время.

Рынок серверов хранения данных для работы с ИИ растет быстрыми темпами. По данным опроса Ernst & Young, 98% компаний среднего бизнеса в России планирует к 2023 г. использовать искусственный интеллект. Однако для разработки качественных продуктов требуются большие базы данных. От решений для хранения и управления информацией зависит, будут ли доступные массивы информации использоваться в полной мере. И, в конечном итоге, от этого зависит, какими станут роботы будущего.

Александр Столяров

ИНТЕРВЬЮ

Крис Гринвуд:
Когда All-Flash займет весь рынок СХД
Объемы данных растут, разница в стоимости традиционных дисковых решений и All-flash массивов уменьшается с каждым днем. Пройдет еще год-два, и цены сравняются окончательно.