6.5. Закон Густафсона
Відому частку оптимізму в оцінку, що дається законом Амдала, вносять дослідження, проведені Джоном Густафсоном з NASA Ames Research [115]. Вирішуючи на обчислювальній системі з 1024 процесорів три великі завдання, для яких частка послідовного коду f лежала в межах від 0,4 до 0,8%, він набув значень прискорення в порівнянні з однопроцесорним варіантом, рівні відповідно 1021,1020 і 1016. Згідно закону Амдала для даного числа процесорів і діапазону f, прискорення не повинне було перевищити величини порядка 201. Намагаючись пояснити це явище, Густафсон прийшов до висновку, що причина криється в початковій передумові,що лежить в основі закону Амдала: збільшення числа процесорів не супроводжується збільшенням об'єму вирішуваного завдання. Реальна ж поведінка користувачів істотно відрізняється від такого уявлення. Зазвичай, отримуючи в своє розпорядження могутнішу систему, користувач не прагне скоротити час обчислень, а, зберігаючи його практично незмінним, старається пропорційно потужності ОС збільшити об'єм вирішуваного завдання. І тут виявляється, що нарощування загального об'єму програми стосується головним чином частини програми, що розпаралелює. Це веде до скорочення значення f. Прикладом може служити вирішення диференціального рівняння в частинних похідних. Якщо частка послідовного коду складає 10% для 1000 вузлових точок, то для 100 000 точок частка послідовного коду знизиться до 0,1%. Сказане ілюструє рис.6.15., який відображає той факт, що, залишаючись практично незмінною, послідовна частина в загальному об'ємі збільшеної програми має вже меншу питому вагу.
Рис.6.15. До постановки завдання в законі Густафсона
Було відмічено, що в першому наближенні об'єм роботи, яка може бути проведена паралельно, зростає лінійно із зростанням числа процесорів в системі. Для того, щоб оцінити можливість прискорення обчислень, коли об'єм останніх збільшується із зростанням кількості процесорів в системі (при постійності загального часу обчислень), Густафсон рекомендує використовувати вираз, запропонований Е. Барсисом (Е. Barsis):
Даний вираз відомий як закон масштабованого прискорення або закон Густафсона (іноді його називають також законом Густафсона-Барсиса). На закінченні відзначимо, що закон Густафсона не суперечить закону Амдала. Відмінність полягає лише у формі утилізації додаткової потужності ОС, що виникає при збільшенні числа процесорів.
6.6. Грід – система
6.6.1. Ресурси Грід
Грід – технологія розподілених обчислень і спосіб вирішення трудомістких обчислювальних задач, задач обробки даних із залученням великого числа обчислювальних ресурсів, ресурсів зберігання і передачі даних, які працюють одночасно над різними частинами цих задач.
Грід – з'єднання технологій, інфраструктур і стандартів.
Технологія – це спеціальна ПО, яка дозволяє організаціям надавати ресурси в загальне користування, а споживачам використовувати їх.
Інфраструктура – апаратні засоби, які повинні бути організовані так, щоб можна було спільно користуватися.
Стандарти визначають формат і протоколи обміну повідомленнями між користувачами, а також правила роботи.
У основі Грід-систем лежить забезпечення стабільної роботи набору служб на основі загальноприйнятих відкритих стандартів і програмного забезпечення (проміжного програмного забезпечення (ППЗ), в англійській мові використовується термін middleware, для забезпечення надійного, уніфікованого доступу до географічно розподілених інформаційних і обчислювальних ресурсів, що включають окремі комп'ютери, кластери і суперкомп'ютерні центри, сховища інформації і так далі Створення таких систем стало можливим завдяки вражаючим успіхам, перш за все в чотирьох напрямах:
підвищенні продуктивності мікропроцесорів масового виробництва - сучасний персональний комп'ютер порівнянний по продуктивності з суперкомп'ютерами десятирічної давності;
появі швидких ліній зв'язку - зараз здійснюється переклад основних магістралей на рівень декілька Гигабіт/сек;
глобалізації обміну інформацією (Інтернет/Веб-сервер);
розвитку методів метакомп'ютинга - наукової дисципліни по організації масових і розподілених обчислювальних процесів.
Оскільки Грід-інфраструктура заснована на наданні ресурсів в загальне користування, з одного боку, і на використанні публічно доступних ресурсів, з іншого, одним з її ключових понять (пригадаєте загальне визначення Гріда на початку цього розділу) є віртуальна організація (BО). ВО є співтовариством людей, які спільно використовують Грід-ресурси відповідно до узгоджених між ними і власниками ресурсів правилами. Фактично, віртуальна організація укладає договір з власниками ресурсів про їх використання і є представником членів даною ВО у взаєминах з власниками ресурсів. У існуючих Грід-системах віртуальні організації утворюють фахівці з деякої прикладної області, які об'єднуються для досягнення загальної мети.
Будь-яка ВО має доступ до певного набору ресурсів, які надаються зареєстрованим в ній користувачам. З іншого боку, кожен ресурс може одночасно надаватися декільком ВО. Кожна ВО самостійно встановлює правила роботи для своїх учасників, виходячи з дотримання балансу між потребами користувачів і наявним об'ємом ресурсів, тому користувач повинен обґрунтувати своє бажання працювати з Грід-системою і отримати згоду органів, що управляють.
Концепція гріда з'явилася не як абстрактна ідея, а як відповідь на потреби, що з'являються, в крупних інформаційно-обчислювальних ресурсах, що динамічно виділяються для вирішення громіздких задач, в науковій, індустріальній, адміністративній і комерційній областях діяльності. Створення грід-середи має на увазі розподіл обчислювальних ресурсів по територіально розділених сайтах, на яких встановлено спеціалізоване програмне забезпечення для того, щоб розподіляти завдання по сайтах і приймати їх там, повертати результати користувачеві, контролювати права користувачів на доступ до тих або інших ресурсів, здійснювати моніторинг ресурсів і так далі. Загальнодоступні ресурси на основі сайту можуть включати обчислювальні вузли або вузли зберігання і передачі даних, власні дані, прикладне програмне забезпечення.
Обчислювальні ресурси надають користувачеві Грід-системи (точніше кажучи, задачі користувача) процесорні потужності. Обчислювальними ресурсами можуть бути як кластери, так і окремі робочі станції. При всій різноманітності архітектури будь-яка обчислювальна система може розглядатися як потенційний обчислювальний ресурс Грід-системи. Необхідною умовою для цього є наявність ППО, що реалізовує стандартний зовнішній інтерфейс з ресурсом і дозволяє зробити ресурс доступним для Грід-системи. Основною характеристикою обчислювального ресурсу є продуктивність.
Ресурси зберігання також використовують ППО, що реалізовує уніфікований інтерфейс управління і передачі даних. Як і у разі обчислювальних ресурсів, фізична архітектура ресурсу пам'яті не принципова для Грід-системи, будь то жорсткий диск на робочій станції або система масового зберігання даних на сотні терабайт. Основною характеристикою ресурсів зберігання даних є їх об'єм. В даний час характерний об'єм ресурсів зберігання вимірюється в Терабайтах (Тб).
Інформаційні ресурси і каталоги є особливим видом ресурсів зберігання даних. Вони служать для зберігання і надання метаданих і інформації про інші ресурси Грід-системи. Інформаційні ресурси дозволяють структуровано зберігати величезний об'єм інформації про поточний стан Грід-системи і ефективно виконувати завдання пошуку ресурсів.
Мережевий ресурс є сполучною ланкою між розподіленими ресурсами Грід-системи. Основною характеристикою мережевого ресурсу є швидкість передачі даних.
Основними загальними задачами Гріда є:
створення з устаткування, що серійно випускається, широкомасштабних розподілених обчислювальних систем і систем обробки, комплексного аналізу і моніторингу даних, джерела яких також можуть бути (глобально) розподілені;
підвищення ефективності обчислювальної техніки шляхом надання в Грід ресурсів, що тимчасово простоюють.
Пріоритет тої або іншої загальної задачі, яка вирішується за допомогою Гріда, визначається типом Гріда і характером прикладних областей, в яких він використовується.
Забезпечення розподілених обчислень і обробки даних (видалений доступ до обчислювальних ресурсів)
Комп'ютери удосконалюються неймовірно швидко: процесорна потужність подвоюється приблизно кожні 18 місяців. Але і такий прогрес не завжди забезпечує потреби учених та інженерів. Часто для обчислень недостатньо одного комп'ютера або навіть кластера персональних комп'ютерів. В результаті досягнення наукових або інженерних цілей може виявитися надзвичайно складною, дуже дорогою, а іноді абсолютно нездійсненною задачею. Якщо ж на час виконання завдання або проекту є можливість використовувати ресурси безлічі персональних комп'ютерів, робочих станцій, кластерів, суперкомп'ютерів, а також сховищ даних, що розміщені в різних точках миру і належать різним людям і установам, то проблема може стати вирішуваною. Таку можливість - розподіли окремих частин великого завдання по географічно видалених ресурсах (якщо сам характер завдання дозволяє розділити її на частини) і надає Грід-середовище.
Особливо ефективним такий підхід виявляється, коли в рамках якого-небудь проекту (дослідження або прикладної проблеми) треба виконати величезний потік або набір однотипних завдань. Типовим прикладом може служити обробка великого об'єму даних.
Підвищення ефективності комп'ютерних ресурсів
Сучасні могутні ПК часто реально використовуються не більш, ніж на декілька відсотків своєї потужності, і природним стає завдання надання невживаних ресурсів для суспільних потреб. Аналогічна ситуація характерна і для комп'ютерних центрів, оскільки великі обчислювальні задачі з'являються у користувачів не постійно, тобто потреба у виконанні обчислювальної роботи має піковий за часом характер. Грід-технології дозволяють об'єднувати ці потужності в єдине, хоча і географічно розподілене обчислювальне середовище. В результаті користувач дістає можливість запуску своїх завдань на такому «глобальному кластері», що має потужність, що істотно перевершує його власні ресурси. При цьому і його комп'ютер (або комп'ютери) може бути включений до складу цього глобального кластера, і виконуватиме завдання інших користувачів. Результат же обчислень буде отриманий істотно швидше, ніж при послідовному запуску задач на своєму персональному комп'ютері. Слід підкреслити, що часовий ефект буде пов'язаний не тільки з піковим характером появи завдань у даного користувача, що може мати періодичність в дні і навіть місяці. Ефект може бути отриманий і просто із-за нерівномірного запуску завдань протягом дня, через що піки завантаження не співпадають для географічно розділених по тимчасових поясах районів (такий ефект дуже добре відомий і в електричних мережах).
Типи Грід-систем
Аналізуючи існуючі проекти по побудові Грід-систем можна зробити висновок про три напрямки розвитку Грід-технології:
Обчислювальний Грід (Computational Grid)
Грід для інтенсивної обробки даних(Е) а1а Grid),
Семантичний Грід для оперування даними з різних баз даних (Semantic Grid).
Метою першого напряму є досягнення максимальної швидкості обчислень за рахунок глобального розподілу цих обчислень між тисячами комп'ютерів, а також, можливо, серверами і суперкомп'ютерами. Метою другого напряму є обробка величезних об'ємів даних відносно нескладними програмами. Тому обчислювальні ресурси Грід-інфраструктури в цьому випадку часто є кластерами персональних комп'ютерів. А ось доставка даних для обробки і пересилка результатів в цьому випадку є достатньо складним завданням. Одним з найбільших проектів, метою якого є створення Грід-системи для обробки наукових даних, є проект EGEE (Enabling Grids for E-SCIENCE).
Грід-системи третього напряму - семантичні - надають інфраструктуру для виконання обчислювальних завдань на основі розподіленого мета-інформаційного оточення, що дозволяє оперувати даними з різнотипних баз, різних форматів, представляючи результат у форматі, визначуваному додатком.