Архитектура центров обработки данных

пространственный анализ — класс методов, использующих топологическую, геометрическую и географическую информацию в данных;

статистический анализ;

визуализация аналитических данных — представление информации в виде рисунков, диаграмм, с использованием интерактивных возможностей, анимации как для получения результатов, так и для использования в качестве исходных данных для дальнейшего анализа.

11.3.Средства обработки Больших Данных

В настоящее время программно-аппаратные средства, предназначенные специально для обработки Больших Данных, только, создаются. Можно предположить, что это связано со сравнительно недавним появлением самого термина «Большие Данные». Тем не менее, к средствам их обработки относят следующие уже существующие технические решения:

аппаратно-программные комплексы, поставляемые, как готовые к установке в ЦОД телекоммуникационные шкафы, содержащие кластер серверов и управляющее ПО для массовой параллельной обработки данных;

аппаратные решения для аналитической обработки в оперативной памяти, хотя такая обработка изначально не является массово-параллельной, а объёмы оперативной памяти одного узла ограничиваются несколькими терабайтами;

аппаратно-программные комплексы на основе традиционных реляционных СУБД, как способные эффективно обрабатывать терабайты

иэкзабайты структурированной информации, решая задачи быстрой поисковой и аналитической обработки огромных объёмов структурированных данных;

аппаратные решения DAS-систем хранения данных, напрямую

присоединённых к узлам, в условиях независимости узлов обработки, иногда относят к технологиям Больших Данных. Именно с появлением концепции Больших Данных связан всплеск интереса к DAS-решениям в начале 2010 годов, а также к сетевым решениям классов NAS и SAN.

11.4. Особенности работы с Большими Данными и области применения

Характерной особенностью работы с Большими Данными являются следующие особенности.

143

1.Анализируются все данные, а не статистические выборки.

Например, для определения зоны распространения гриппа N1H1 специалисты Google выявили 45 из 50 миллионов условий поиска в интернете определенных лекарств и сравнили их с зонами распределения гриппа за 2003-2008 годы. Точность определения территорий распространения заболевания составила 97%. Стив Джобс, основатель компании Apple, продлил себе жизнь на несколько лет, проанализировав свою ДНК полностью, что позволило врачам менять лекарства при мутациях его раковой опухоли. Компания Xoom, специализирующаяся на денежных переводах, проанализировав все данные по операциям с кредитными картами, обнаружила действия преступной группировки. Интересен также анализ результатов всех боев в борьбе сумо, который позволил выявить наиболее вероятные договорные бои.

2.Отсутствие точности. В мире Больших Данных высокая точность невозможна – данные постоянно меняются, они неупорядочены, разного качества, разбросаны по разным серверам иногда по всему миру. Известно, что компьютерные переводчики не обеспечивали переводы нужного качества, поскольку переводился не смысл текста, а каждое слово по отдельности. Google применил иной метод, когда миллионы страниц оригинальных документов различного качества, взятых из интернет-контента сопоставлялись с их переводом. Система содержала триллион слов в 95 миллиардах англоязычных предложений, что позволило в разы улучшить качество перевода. К середине 2012 года эта система охватила более 60 языков и была способна принимать голосовой ввод с 14 языков для моментального перевода.

Ранее индекс потребительских цен в США определялся путем опроса цен на 23000 товаров в 90 городах США. Сканирование Webстраниц позволило учесть стоимость 5 млн товаров, хотя точность сведений была гораздо ниже, чем при опросах.

3.Корреляция, а не причинность. Еще одна особенность работы с Большими Данными – это отход от поиска причинностей. Вместо поиска причин того или иного явления ищутся корреляции. Например, если мы знаем, что сочетание двух веществ излечивает определенную болезнь, то нам не так важно, почему это происходит. Компания Amazon применила этот принцип к предложению книг, покупаемых у нее на сайте. Покупателю предлагается не то, что он покупал ранее, а то, что схоже с заказываемой книгой, т.е. по корреляции содержания. Классический пример результата анализа Больших Данных

144

дает пример компании сети магазинов Wallmart, которая хотела выяснить, какие товары являются наиболее продаваемыми среди тех, что люди покупают перед ураганом. Ответ № 1 — батарейки — не был сюрпризом. Ответ № 2 был неожиданным — полуфабрикаты для тостов Pop-Tarts. Оказывается, эта сахарная выпечка хороша в чрезвычайных ситуациях. Она легка, не требует приготовления и долго хранится без холодильника. В результате получения этой информации Wallmart теперь запасается перед сезоном штормов тостами Pop-Tarts в магазинах на побережье.

В качестве областей применения Больших Данных можно назвать:

научные исследования (мониторинг среды, зондирование атмосферы, расшифровка генома человека);

медицина (обследование организма в целом, анализ аномалий генов конкретного человека);

коммерция (анализ влияния большого числа факторов на объемы продаж большого числа товаров).

11.5.Российские особенности

Выделим особенности работы с Большими Данными, характерными для России. В настоящее время основными потребителями данной технологии являются банковский (работа с клиентскими базами)

ителекоммуникационный (анализ абонентской базы) сектора экономики. К перспективным направлениям относятся государственный сектор (электронное правительство) и медицина (быстрый анализ общего состояния пациента). На российском рынке пока отсутствуют держатели больших объемов данных типа компаний Google и Amazon, но, возможно, таковыми станут «Яндекс», «Mail.ru» и им подобные. Технологией Больших Данных могли бы воспользоваться научноисследовательские организации, но их бюджеты пока слишком малы, как

ибюджеты предприятий малого и среднего бизнеса. Определенные надежды вселяет создание исследовательских центров компании EMC в Санкт-Петербурге и Сколково, которые должны заняться применением технологии Больших Данных в биомедицине и повышении энергоэффективности производства.

Контрольные вопросы

1.Определение и характеристика Больших Данных.

2.Источники Больших Данных и методы их анализа.

3.Средства обработки Больших Данных.

145

4.Особенности работы с Большими Данными.

5.Области применения Больших Данных.

6.Особенности работы с Большими Данными в РФ.

146

Заключение

Технологии создания ЦОД и отдельных их подсистем непрерывно совершенствуются. Этому способствуют как быстрое развитие информационных технологий вообще, так и таких направлений, как совершенствование и рост числа мобильных устройств, увеличивающаяся популярность облачных вычислений, расширяющаяся потребность работы с Большими Данными. Все более широко применяется виртуализация как серверов, так и СХД, а также функциональная виртуализации сетей. Управление такими виртуализированными структурами с помощью программного обеспечения позволит в перспективе создать программно-определяемый ЦОД, в разы и более эффективный, чем современные. Уже сейчас понятно, что использование ДНК для создания емких и долговечных СХД может совершить революцию в этих системах. По-видимому, качественный рывок ожидает в перспективе и технологию производства процессоров, поскольку длина транзисторного затвора приблизилась к атомарным размерам и дальнейшее возрастание тактовой частоты транзисторов требует прорывных нетривиальных решений. Пока трудно предсказать, какой прорыв ожидает коммуникационное оборудование вслед за внедрением технологий SDN и NFV. Но, несомненно, будет и он.

Все шире при организации ЦОД будет применяться фрикулинг и гринкулинг, а электропитание будет осуществляться от возобновляемых источников энергии – солнечной, ветровой и приливной. Примеры тому имеются уже сегодня. Трудно предсказать, какими будут ЦОД даже через 50 лет. Но они, несомненно, будут отличаться от нынешних сильнее, чем нынешние отличаются от вычислительных центров и серверных комнат середины и второй половины прошлого века.

147

Аббревиатуры

148

149