ЗМІСТ

ВСТУП

1 Постановка задачі

2 Теоретичні відомості

3 Імпорт даних, оцінка якості, відновлення, корекція і очистка даних

4 Дослідження видобутку біоресурсів Україною із застосуванням методів аналітичної обробки даних

5 Візуалізація результатів

ВИСНОВОК

СПИСОК ВИКОРИСТАНОЇ ЛІТЕРАТУРИ

ВСТУП

Аналітичне дослідження показників видобутку біоресурсів Україною здійснюється за допомогою відкритих даних Державної служби статистики України.

Державна служба статистики України (Держкомстат України) — центральний орган виконавчої влади із спеціальним статусом, діяльність якого спрямовується і координується Кабінетом Міністрів України через віце-прем'єр-міністра України.

Держкомстат України забезпечує проведення в життя державної політики в галузі статистики, створення і належне функціонування загальнодержавної системи економіко-статистичної інформації на території України. Є спеціально уповноваженим центральним органом виконавчої влади у галузі статистики.

Для отримання певних висновків із статистики, наданої Держкомстатом України, використовується методи статистичної обробки та інтелектуального аналізу даних. Особливе значення, серед цих методів, у обрахунках має використання OLAP-систем.

OLAP (англ. online analytical processing, аналітична обробка в реальному часі) — це технологія обробки інформації, що дозволяє швидко отримувати відповіді на багатовимірні аналітичні запити. OLAP є частиною такого ширшого поняття, як бізнес-аналітика, що також включає такі дисципліни як реляційна звітність та добування данних (спосіб аналізу інформації в базі даних з метою відшукання аномалій та трендів без з'ясування смислового значення записів). Служить для підготовки бізнес-звітів з продажів, маркетингу, для потреб управління, для прогнозування, фінансової звітності та в схожих областях.

Бази даних, сконфігуровані для OLAP, використовують багатовимірні моделі даних, що дозволяє виконувати складні аналітичні та спеціалізовані запити за короткий проміжок часу. Вони запозичують окремі аспекти навігаційних та ієрархічних баз даних, які є швидшими за реляційні БД.

OLAP дає змогу організувати вимірювання у вигляді ієрархії. Дані представлені у вигляді гіперкубів (кубів) - логічних і фізичних моделей показників, що спільно використовують вимірювання, а також ієрархії у цих вимірюваннях. Деякі дані заздалегідь агреговані в БД, інші розраховуються відразу.

OLAP-куб містить базові дані та інформацію про вимірювання (агрегати). Куб потенційно містить всю інформацію, потрібну для відповідей на будь-які запити.

Засоби OLAP дають змогу досліджувати дані за різними вимірюваннями. Користувачі можуть вибирати, які показники аналізувати, які вимірювання і як відображати в крос-таб-лиці, поміняти рядки і стовпці pivoting, потім робити зрізи, щоб концентруватися на певній комбінації розмірностей. Можна змінювати деталізацію даних, рухаючись рівнями за допомогою деталізації та збільшення, а також крос-деталізацію через інші вимірювання.

Мета курсової роботи полягає в аналітичній обробці слабко структурованого набору фінансових даних та виявлення об`активних закономірностей у цьому наборі даних. Також метою роботи є показати застосування деяких операцій інтелектуального аналізу, таких як: кластеризація, прогнозування, візуалізація, аналіз та пошук відхилень, заповнення пропуску даних, підведення підсумків та аналіз отриманих результатів.

Виконання роботи передбачає використання системи аналітичної обробки даних Deductor.

1 Постановка задачі

В даній роботі будуть використовуватись дані видобутку Україною біоресурсів, які взяті з 1 січня 1995 по 2013 років. Статистична таблиця міститиме такі заголовки і відповідні їм дані:

• Рік;

• Всього видобуто

• У внутрішніх водоймах;

• У виключній(морській) економічній зоні України;

• У виключних(морських) економічних зонах інших держав;

• У відкритій частині світового океану.

Для дослідження нашої статистичної вибірки та отримання з неї інформації на потрібно:

• Імпортувати дані;

• Побудувати діаграму;

• Виконати кореляційний аналіз;

• Регресійний аналіз(лінійна регресія);

• Діаграму розсіювання;

• Звіт по регресії;

• Побудувати OLAP-куб;

• Транспонтування;

• Операцію групування;

• Побудувати карту Кахонена.

2 Теоретичні відомості

Розглянемо основні відомості про системне середовище Deductor, а також про його основні властивості.

Deductor - аналітична платформа, яка дозволяє в короткі терміни створити ефективну систему підтримки прийняття бізнес-рішень.

Deductor є повнофункціональною платформою для вирішення завдань Knowledge Discovery in Databases, що дозволяє провести всі нижчеописані кроки.

1. Підготовка початкового набору даних. До складу системи входить Deductor Warehouse – багатовимірне сховище даних, що орієнтоване на рішення задач консолідації інформації з різнорідних джерел і швидкого видобутку потрібного набору даних. Deductor Warehouse підтримує потужний семантичний прошарок, що дозволяє кінцевому користувачеві оперувати бізнес термінами для отримання потрібних даних. Окрім власного сховища Deductor підтримує роботу і з іншими джерелами: Oracle, DB2, MS SQL, Informix, Sybase, Interbase, DBase, FoxPro, Paradox, MS Access, CSV (текстові файли з роздільниками), ODBC, ADO. Для забезпечення максимальної швидкодії Deductor підтримує прямий (direct) доступ до більшості найпопулярніших баз даних.

2. Передобробка. Deductor містить великий набір механізмів передобробки і очищення даних: заповнення пропусків, редагування аномалій, очищення від шумів, згладжування, фільтрація і багато чого іншого з можливістю комбінування методів передобробки.

3. Трансформація, нормалізація даних. Deductor містить великий набір механізмів трансформації даних, що дозволяють провести всю підготовчу роботу для подальшого аналізу. Окрім цього, система містить широкий спектр механізмів нормалізації для всіх типів даних: числових, рядкових, дата/час і логічних.

4. Data Mining. У складі пакету містяться алгоритми, що реалізують популярні та ефективні методи Data Mining:нейронні мережі,дерева рішень, самоорганізованікарти Кохонена,асоціативні правилатощо.

5. Постобробка даних. Результати будь-якої обробки можуть бути відображені за допомогою великого набору механізмів візуалізації: OLAP, таблиці, діаграми, дерева тощо. Для деяких механізмів передбачені спеціалізовані візуалізатори, які забезпечують легкість інтерпретації результатів. Результати можна експортувати для подальшої обробки за допомогою інших додатків. Це дає можливість ефективно використовувати отримані знання або моделі на інших даних.

Deductor задовольняє всі вимоги для успішної взаємодії з експертом (аналітиком):

• єдина платформа, в якій можна пройти всі етапи Knowledge Discovery in Databases;

• всі операції проводяться за допомогою майстрів, завдяки яким знижуються вимоги до знання експертом математичного апарату;

• можливість довільного комбінування будь-яких методів обробки;

• великий набір методів візуалізації отриманих результатів;

• пакетне виконання всій дій по обробці даних.

Склад системи Deductor:

• Studio – программа, яка реалізує функції імпорту, обробки, візуалізації и експорту даних;

• Viewer – робоче місце кінцевого користувача. Дозволяє відділити процес побудови сценаріїв від користування уже готовими моделями;

• Warehouse – багатомірне сховище даних, яке акумулює всю необхідну для аналізу предметної області інформацію;

• Server – служба, яка забезпечує віддалену аналітичну обробку даних;

• Client – клієнт доступу до Deductor Server.Він забезпечує доступ до сервера із сторонніх додатків і управління його роботою.

Версії Deductor:

1. Enterprise- призначена для корпоративного використання. В ній реалізовані всі функції, що і у версії Professional. Крім того, в поставку даної версії входять Deductor Server і Deductor Client для віддаленої роботи з системою, підтримка сховищ даних на платформах Oracle і MS SQL, підтримка концепції віртуального сховища даних, реалізація OLE-сервера і інші механізми, які необхідні для корпоративного використання аналітичної платформи.

2. Professional- призначена для невеликих компаній і однокористувацької роботи. В цій версії відсутні обмеження на кількість оброблювальних записів, підтримується робота з великою кількістю джерел, сховищем даних на базі бесплатної СУБД Firebird, пакетне виконання сценаріїв, всі механізми обробки і візуалізації даних.

3. Academic- бесплатна версія, яка призначена тільки для навчальних цілей. Використання цієї версії у комерційних цілях заборонено. В ній обмежені можливості інтеграції і автоматичної обробки. Підтримується лише 2 джерела і приймача даних:Deductor Warehouseи текстові файли с роздільниками.

Задачі, що виішує Deductor:

• прогнозування;

• стимулювання попиту;

• сегментація клієнтів;

• оптимізація цінової політики;

• аналітична звітність;

• управління ризиками при кредитуванні фізичних и юридичних осіб;

• оцінка кредитоспроможності;

• визначення профіля клієнтів і особливостей їх поведінки;

• виявлення випадків махінацій.

В даних теоретичних відомостях також коротко розповімо про використання OLAP-кубу.

OLAP-куб — структура, яка дозволяє здійснювати швидкий аналіз даних. Також може бути визначена як здатність до маніпулювання і аналізу даних з різних перспектив. Впорядкування даних у куби долає обмеження реляційних баз даних. Такі бази даних не дуже добре пристосовані для майже миттєвого аналізу та відображення великих обсягів даних. Навпаки, вони відповідають вимогам створення записів через серії транзакцій OLTP. Хоча існує багато інструментів створення звітів для реляційних баз даних, вони надто повільні, коли має бути оброблена ціла база даних.

OLAP-куби можна розглядати як розширення двовимірних масивів електронних таблиць. Наприклад, компанія може забажати проаналізувати деякі фінансові дані за продуктами, за періодами, за місцем продажу, за типом прибутку та ціною, і порівняти фактичні дані з бюджетом. Це і називається вимірами. Оскільки OLAP система може мати більше трьох вимірів, іноді використовують термін гіперкуб.

OLAP-куб складається з числових фактів, що називаються мірами які категоризовані за вимірами. Куб може бут створеним зі схеми зірки або схеми сніжинки, схеми таблиць в реляційній базі даних. Міри походять із записів в таблиці фактів, а виміри походять з таблиці вимірів.

Фінансовий аналітик хоче бачити дані в різних проекціях, наприклад, відобразити всі міста уздовж сторінки, а всі продукти впоперек. Це може бути потрібно для визначенного періоду, версії і т.д.. Після перегляду цих даних аналітик може забажати переглянути дані іншим чином. Куб може бути ефективно переорієнтований, таким чином отримання нових типів звітів не вимагає багато часу, скажімо, секунди (у порівнянні з годинами у випадку реляційних баз даних).

Кожен елемент виміру може бути верхівкою ієрархії.

Наприклад, січень 2010 може бути об'єднаний у першу чверть 2010, яка може бути об'єднана в 2010 рік. Схожим чином міста можуть бути об'єднані в регіони, країни в глобальні регіони, товари можуть бути об'єднані в більші категорії. Аналітик може почати з вищого рівню ієрархії, такого як загальна різниця між витратами і бюджетом, а потім заглиблюватися в нижчі рівні для визначення походження цієї різниці.

Зріз (англ. slice): формується підмножина багатовимірного масиву даних, що відповідає єдиному значенню одного або декількох вимірів, що не входять до цієї підмножини. Якщо розглядати з позиції кінцевого користувача, то найчастіше роль зрізу відіграє двовимірна проекція OLAP-куба.

Нарізка на кубики (англ. dice): зріз більше ніж за двома вимірами куба.

Консолідація (англ. drill up) та деталізація (англ. drill down): операції, що визначають перехід від детального представлення даних до агрегованого (вгору) і навпаки — від агрегованого до детального (вниз).

Обертання, півотинг (англ. pivot): Перетворення стовпців таблиці на рядки і навпаки.

Комерційні OLAP продукти мають різні методи для створення і для зв'язування кубів.

Зв'язування — метод для подолання розрідженості. Розрідженість виникає коли не кожна комірка в кубі містить дані, тким чином цінний процесорний час витрачається на складання нулів.

OLAP-куб — багатовимірний масив даних, як правило, розріджений і призначений для тривалого зберіганя. Може бути реалізований на основі універсальних реляційних СУБД або спеціалізованим програмним забезпеченням.

Індексам масиву відповідають виміри (dimensions) або осі куба, а значенням елементів масиву — міри (measures) куба.

w : (x,y,z) → w_xyz,

де x, y, z — виміри, w — міра.

На відміну від звичайного масиву в мові програмування, доступ до елементів OLAP-куба може здійснюватися як за повним набором індексів-вимірів, так і за їх підмножиною, і тоді результатом буде не один елемент, а множина елементів.

W : (x,y) → W = {w_z1, w_z2, …, w_zn}

Також відомий опис OLAP-куба із використанням термінології реляційної алгебри—проекціївідношень.

Нехай маємо відношення N, розглянемо проекцію з вимірами X, Y, і Z як ключем і W як різницевим атрибутом. Це характеризується функцією:

W : (X,Y,Z) → W,

атрибутам (X, Y, и Z) відповідають вісі куба, а значенняW для кожної можливої трійки ((X, Y, Z)) відповідають даним кожної комірки куба.

Оскільки двовимірні пристрої виводу не можуть адресувати чотирі виміри, практичнішим є проеціювання «зрізів» куба (проеціювання застосовується в сенсі зменшення кількості вимірів — від куба або гіперкуба до матриці), можливе у вигляді

W : (X,Y) → W

У цій проекції відсутній первинний ключ. Таким чином можлива деяка багатозначність функції. Тим не менш, зріз трійкового функціонального представленя з визначеним значеннямZ має дуже велике значення.