os2016-22-04-dist
.pdf
Обр. программы: Прикладная математика и информатика (гр. 221-224)
Операционные системы и оболочки
Одинцов Игорь Олегович
каф. информатики |
https://vk.com/os_2016_22 |
|
Файлы (а также их надсистемы и подсистемы)
Задачи и приложения
Техно- |
ВВП |
Интернет |
Большие |
Большие |
Ввод и |
|
логии |
вещей |
данные |
задачи |
вывод |
||
|
Операционные системы и оболочки
Базовые |
Процессы |
Комму- |
Файлы |
Виртуальн. |
Оболочки |
|
знания |
никации |
адресация |
||||
|
|
|
Техно- |
Процес- |
Коммун. |
Диски |
Память |
Интерф. |
|
логии |
соры |
оборуд. |
оборуд. |
|||
|
|
Технологии и оборудование
2
Файлы (а также их надсистемы и подсистемы)
Большие данные и задачи будущего
Методики анализа данных
Иерархия памяти и системы хранения данных
Файлы и файловые системы
Хранение и обработка файлов
Драйверы внешних устройств
3
Что такое данные?
•Данные – факты, зарегистрированные с помощью различных носителей
•Информация – нет универсального определения. Используется и как синоним знаний, и как синоним данных.
Однако есть специфика, лучше всего выражаемая через глагол «информировать», т.е. сообщать что-то новое. Получить информацию значит получить ответ на какойто вопрос.
Можно получить информацию и не имея вопроса, в этом случае сообщение будет информацией, если оно меняет сложившуюся у потребителя картину мира
•Знания – результат познавательной деятельности
человека
https://www.iis.ru/glossary/dik.ru.html
Формализуем
отношения
Ref: ISO 2381-1:1993
Информация = Данные + интерпретация (смысл)
Знания = Информация + интеграция и организация
Нет знания вне системы управления
Системы управления работают с реальным миром, используя модели реального мира
Наука о данных
|
Прикладная Распознавание |
|
|||
Информа- |
статистика |
|
образов |
|
|
|
|
|
|
||
ционный |
|
|
|
|
Экспертные |
Аналитическая обработка Машинное |
системы |
||||
поиск в реальном времени |
обучение Искусственный |
||||
|
|
|
|
||
|
(OLAP) |
|
|
|
интеллект |
Теория |
Интеллектуальный |
||||
анализ данных |
Большие данные |
||||
|
|
|
|||
баз данных (Data Mining) |
|
(Big Data) |
|||
Эволюционное развитие архитектур (влияние и связность) и данных (хранение и анализ)
Исследовательские Многочисленные Повсеместные Проникающие
Монолитная |
Клиент-серверная |
Сетевая |
Облачная |
|
Базы данных |
Поток данных в |
Хранилища данных |
Облачные хранилища |
|
реальном времени |
||||
|
|
|
||
Язык простых запросов |
Статистические |
Интеллектуальный |
Анализ больших |
|
методы |
анализ данных |
данных |
||
|
А действительно – насколько большие?
•Разнообразие (разнородность)
•Структурированные, слабоструктурированные, неструктурированные
•Например: видео, фото, почта, чаты, транзакции, профили социальных сетей и числовые таблицы – причем сразу и вместе
•Объем
•Петабайты данных
•Кстати, есть и такая классификация подходов к данным:
•Быстрые данные (Fast Data), их объем измеряется терабайтами
•Большая аналитика (Big Analytics) - петабайтные данные
•Глубокое проникновение (Deep Insight) - экзабайты, зеттабайты
•Скорость (быстроизменчивость)
•Получения, преобразования, загрузки, анализа, опроса
•Например: потоковая обработка данных в режиме реального времени
Почему сейчас?
•Системы хранения
•Всю музыку мира можно разместить на диске стоимостью 600 долларов
•В 2010 году корпорации мира накопили 7 экзабайтов данных, на наших домашних ПК и ноутбуках хранится 6 экзабайтов информации
•Рынок мобильной электроники
•В 2010 году в сетях операторов мобильной связи обслуживалось 5 млрд телефонов
•Сенсоры и социальные сети генерируют огромные объемы
•Каждый месяц в сети Facebook выкладывается в открытый доступ 30 млрд новых источников информации
•Ежегодно объемы хранимой информации вырастают на 40%, в то время как глобальные затраты на ИТ растут всего на 5%
•…
The global data storage, Exabyte
The global computing power, 1018 ops/sec
The world’s technological capacity to store, communicate, and compute information, Hilbert & Lopez, Science, 2011
Скорость поступления и обработки