- •Http://www.Ipm.Kstu.Ru/os/lec
- •1.1 История ос
- •1.2 Назначение ос
- •1.2.1 Ос как виртуальная машина
- •1.2.2 Ос как система управления ресурсами
- •1.3 Интерфейс прикладного программирования
- •1.4 Структура операционных систем
- •1.4.1 Монолитная система
- •1.4.2 Многоуровневая структура ос
- •1.4.3 Модель экзоядра
- •1.4.4 Микроядерная архитектура (модель клиент-сервер)
- •1.4.5 Обобщение сравнения моделей
- •2.1 Процессы
- •2.1.1 Понятие процесса
- •2.1.2 Модель процесса
- •2.1.3 Создание процесса
- •2.1.4 Завершение процесса
- •2.1.5 Иерархия процессов
- •2.1.6 Состояние процессов
- •2.2.3 Преимущества использования потоков
- •2.2.4 Реализация потоков в пространстве пользователя, ядра и смешанное
- •2.2.5 Особенности реализации Windows
- •3.1 Взаимодействие между процессами
- •3.1.1 Передача информации от одного процесса другому
- •3.1.2 Состояние состязания
- •3.1.3 Критические области
- •3.1.4 Взаимное исключение с активным ожиданием
- •3.1.5 Примитивы взаимодействия процессов
- •3.1.6 Семафоры
- •4.1 Основные понятия планирования процессов
- •4.2 Планирование в системах пакетной обработки
- •4.3.2 Приоритетное планирование
- •4.3.3 Методы разделения процессов на группы
- •4.4 Планирование в системах реального времени
- •4.4.1 Планирование однородных процессов
- •4.4.2 Общее планирование реального времени
- •5.1 Взаимоблокировка процессов
- •5.2 Моделирование взаимоблокировок
- •5.3 Методы борьбы с взаимоблокировками
- •5.3.1 Пренебрежением проблемой в целом (страусовый алгоритм)
- •5.3.2 Обнаружение и устранение взаимоблокировок
- •5.3.3 Динамическое избежание взаимоблокировок
- •5.3.4 Предотвращение четырех условий, необходимых для взаимоблокировок
- •6.1 Основные понятия
- •6.2 Методы без использования внешней памяти
- •6.2.1 Однозадачная система без подкачки на диск
- •6.2.2 Распределение памяти с фиксированными разделами.
- •6.2.3 Распределение памяти динамическими разделами
- •6.3 Методы с использованием внешней памяти (свопинг и виртуальная память)
- •6.3.1 Свопинг (подкачка)
- •6.3.2 Виртуальная память
- •7.1 Алгоритмы замещения страниц
- •7.1.7 Алгоритм wsClock
- •7.2 Распределение памяти
- •7.2.1 Политика распределения памяти
- •7.2.2 Размеры страниц
- •7.2.3 Совместно используемые страницы
- •7.2.4 Политика очистки страниц
- •7.3 Особенности реализации в unix
- •7.4 Особенности реализации в Windows
- •8.1 Основные понятия сегментации
- •8.2 Реализация сегментации
- •8.2.1 Сегментация с использованием страниц: multics
- •8.2.2 Сегментация с использованием страниц: Intel Pentium
- •8.3 Особенности реализации в unix
- •9.1 Принципы аппаратуры ввода-вывода
- •9.1.1 Устройства ввода-вывода
- •9.1.2 Контроллеры устройств
- •9.1.3 Отображаемый на адресное пространство памяти ввод-вывод
- •9.1.4 Прямой доступ к памяти (dma - Direct Memory Access)
- •9.1.5 Прерывания
- •9.2 Принципы программного обеспечения ввода-вывода
- •9.2.1 Задачи программного обеспечения ввода-вывода
- •9.2.2 Программный ввод-вывод
- •9.2.3 Управляемый прерываниями ввод-вывод
- •9.2.4 Ввод-вывод с использованием dma
- •9.3 Программные уровни и функции ввода-вывода
- •9.3.1 Обработчики прерываний
- •9.3.2 Драйвера устройств
- •9.3.3 Независимое от устройств программное обеспечение ввода-вывода
- •9.3.4 Программное обеспечение ввода-вывода пространства пользователя
- •9.3.5 Обобщение уровней и функций ввода-вывода
- •10.1 Аппаратная часть дисков
- •10.1.1 Магнитные диски
- •10.1.2 Raid (Redundant Array of Independent Disk - массив независимых дисков с избыточностью)
- •10.1.3 Компакт-диски
- •10.1.3.1 Компакт-диски с возможностью записи cd-r
- •10.1.3.2 Многократно перезаписываемые компакт-диски cd-rw
- •10.1.3.3 Универсальный цифровой диск dvd (Digital Versatile Disk)
- •10.2 Форматирование дисков (программная часть)
- •10.2.1 Низкоуровневое форматирование
- •10.2.2 Разделы диска
- •10.2.3 Высокоуровневое форматирование
- •10.3 Алгоритмы планирования перемещения головок
- •10.3.1 Алгоритм "первый пришел - первым обслужен" fcfs (First Come, First Served)
- •10.3.2 Алгоритм короткое время поиска первым (или ближайший цилиндр первым) ssf (Shortest Seek First)
- •10.3.3 Алгоритмы сканирования (scan, c-scan, look, c-look)
- •10.4 Обработка ошибок
- •10.5 Стабильное запоминающее устройство
- •10.6 Таймеры
- •10.6.1 Аппаратная часть таймеров
- •10.6.2 Программное обеспечение таймеров
- •11.1 Файлы
- •11.1.1 Именование файлов
- •11.1.2 Структура файла
- •11.1.3 Типы файлов
- •11.1.4 Доступ к файлам
- •11.1.5 Атрибуты файла
- •11.1.6 Операции с файлами
- •11.1.7 Файлы, отображаемые на адресное пространство памяти
- •11.2 Каталоги
- •11.2.5 Операции с каталогами
- •12.2.3 Связные списки при помощи таблиц в памяти
- •12.2.4 I - узлы
- •12.3 Реализация каталогов
- •12.3.1 Реализация длинных имен файлов
- •12.3.2 Ускорение поиска файлов
- •12.3.2.1 Использование хэш-таблицы для ускорения поиска файла.
- •12.3.2.2 Использование кэширования результатов поиска файлов для ускорения поиска файла.
- •12.4 Совместно используемые файлы
- •12.4.1 Жесткие ссылки
- •12.4.2 Символьные ссылки
- •12.5 Организация дискового пространства
- •12.5.1 Размер блока
- •12.5.2 Учет свободных блоков
- •12.5.3 Дисковые квоты
- •12.6 Надежность файловой системы
- •12.6.1 Резервное копирование
- •12.6.2 Непротиворечивость файловой системы
- •12.7 Производительность файловой системы
- •13.1.2 Рок-ридж расширения для unix
- •13.1.3 Joliet расширения для Windows
- •13.2 Файловая система ms-dos (fat-12,16,32)
- •13.2.1 Fat-12
- •13.2.2 Fat-16
- •13.2.3 Fat-32
- •13.2.4 Расширение Windows 98 для fat-32
- •13.3 Файловая система ntfs
- •13.3.1 Поиск файла по имени
- •13.3.2 Сжатие файлов
- •13.3.3 Шифрование файлов
- •14.1 Файловая система unix v7
- •I-узел unix v7
- •14.1.1 Поиск файла
- •14.1.2 Блокировка данных файла
- •14.1.3 Создание и работа с файлом
- •14.2 Файловая система bsd
- •14.3 Файловые системы linux
- •14.3.1 Файловая система ext2
- •14.3.2 Файловая система ext3
- •14.3.3 Файловая система xfs
- •14.3.4 Файловая система rfs
- •14.3.4 Файловая система jfs
- •14.4 Сравнительная таблица некоторых современных файловых систем
- •14.5 Файловая система nfs
- •14.4.1 Архитектура файловой системы nfs
- •14.4.2 Протоколы файловой системы nfs
- •14.4.3 Реализация файловой системы nfs
13.2.4 Расширение Windows 98 для fat-32
Для расширения были задействованы 10 свободных бит.
Формат каталоговой записи в системе FAT-32 с расширениями для Windows 98
Пять добавленных полей:
NT - предназначено для совместимости с Windows.
Sec - дополнение к старому полю время, позволяет хранить время с точностью до секунды (было 2 секунды)
Дата и время создания файла (Creation time)
Дата (но не время) последнего доступа (Last access)
Для хранения номера блока выделено еще 2 байта (16 бит), т.к. номера блоков стали 32-разрядные.
Основная надстройка над FAT-32, это длинные имена файлов.
Для каждого файла стали присваивать два имени:
Короткое 8+3 для совместимости с MS-DOS
Длинное имя файла, в формате Unicode
Доступ к файлу может быть получен по любому имени.
Если файлу дано длинное имя (или используются пробелы), то система делает следующие шаги:
берет первые шесть символов
преобразуются в верхний регистр ASCII, удаляются пробелы, лишние точки, некоторые символы преобразуются в "_"
добавляется суффикс ~1
если такое имя есть, то используется суффикс ~2 и т.д.
Короткие имена хранятся в в обычном дескрипторе файла.
Длинные имена хранятся в дополнительных каталоговых записях, идущих перед основным описателем файла. Каждая такая запись содержит 13 символов формата Unicode (для символа Unicode нужно два байта).
Формат каталогов записи с фрагментом длинного имени файла в Windows 98
Поле "Атрибуты" позволяет отличить фрагмент длинного имени (значение 0х0F) от дескриптора файла. Старые программы MS-DOS каталоговые записи со значением поля атрибутов 0х0F, просто игнорируют.
Последовательность - порядковый номер в последовательности фрагментов.
Длина имени файла ограничена 260 символами не из-за порядкового номера (1 байт), для номера используются только 6 бит 6х13=819 символов.
Контрольная сумма нужна для выявления ошибок, т.к. файл с длинным именем может удалить MS-DOS и создать новый, и тогда останутся не удаленные записи, которые "прилипнут" к новому файлу. Т.к. это поле один байт, есть вероятность 1/256 что Windows 98 не заметит подмены.
13.3 Файловая система ntfs
Файловая система NTFS была разработана для Windows NT.
Особенности:
64-разрядные адреса, т.е. теоретически может поддерживать 2^64*2^16 байт (1 208 925 819 Пбайт=1Yбайт).
Размеры блока (кластера) от 512байт до 64 Кбайт, для большинства используется 4Кбайта.
Поддержка больших файлов.
Имена файлов ограничены 255 символами Unicode.
Длина пути ограничивается 32 767 (2^15) символами Unicode.
Имена чувствительны к регистру, my.txt и MY.TXT это разные файлы (но из-за Win32 API использовать нельзя), это заложено на будущее.
Журналируемая файловая система, т.е. не попадет в противоречивое состояние после сбоев.
Контроль доступа к файлам и каталогам.
Поддержка жестких и символических ссылок.
Поддержка сжатия и шифрования файлов.
Поддержка дисковых квот.
Главная файловая таблица MFT (Master File Table) - главная структура данных в каждом томе, записи фиксированные по 1Кбайту. Каждая запись описывает один каталог или файл. Для больших файлов могут использоваться несколько записей, первая запись называется - базовой записью.
MFT представляет собой обычный файл (размером до 2^48 записей), который может располагаться в любом месте на диске.
Главная файловая таблица MFT, каждая запись ссылается на файл или каталог.
Первые 16 записей MFT зарезервированы для файлов метаданных. Каждая запись описывает нормальный файл, имена этих файлов начинаются с символа "$".
Каждая запись представляет собой последовательность пар (заголовок атрибута, значение).
Некоторые записи метаданных в MFT:
0) Первая запись описывает сам файл MFT, и содержит все блоки файла MFT. Номер первого блока файла MFT содержится в загрузочном блоке.
1) Дубликат файла MFT, резервная копия.
2) Журнал для восстановления, например, перед созданием, удалением каталога делается запись в журнал. Система не попадет в противоречивое состояние после сбоев.
3) Информация о томе (размер, метка и версия)
4) Определяются атрибуты для MFT записей.
6) Битовый массив использованных блоков - для учета свободного места на диске
7) Указывает на файл начальной загрузки
Атрибуты, используемые в записях MFT:
Стандартная информация - флаговые биты (только чтение, архивный), временные штампы и т.д.
Имя файла - имя файла в кодировке Unicode, файлы могут повторятся в формате MS-DOS 8+3.
Список атрибутов - расположение дополнительных записей MFT
Идентификатор объекта - 64-разрядный идентификатор файла, уникальный для данного тома.
Точка повторного анализа - используется для символьных ссылок и монтирования устройств.
Название тома
Версия тома
Корневой индекс - используется для каталогов
Размещение индекса - используется для очень больших каталогов
Битовый массив - используется для очень больших каталогов
Поток данных утилиты регистрации - используется для шифрования
Данные - поточные данные, может повторяться, используется для хранения самого файла. За заголовком следует список дисковых адресов, определяющий положение файла на диске, если файл очень маленький (несколько сотен байт), то следует сам файл (такой файл называется - непосредственный файл).
Как привило, все данные файла не помещаются в запись MFT.
Дисковые блоки файлам назначаются по возможности в виде серий последовательных блоков (сегментов файлов). В идеале файл должен быть записан в одну серию (не фрагментированный файл), файл, состоящий из n блоков, может быть записан от 1 до n серий.
Запись MFT для 9-блочного файла, состоящего из трех сегментов (серий). Вся запись помещается в одну запись MFT (файл не сильно фрагментирован).
Заголовок содержит количество блоков (9 блоков).
Каждая серия записывается в виде пары, дисковый адрес - количество блоков (20-4, 64-2, 80-3).
Каждая пара, при отсутствие сжатия, это два 64-разрядные числа (16 байт на пару).
Многие адреса содержат большое количество нулей, сжатие делается за счет убирания нулей в старших байтах. В результате для пары требуется чаще всего 4байта.
Если файл сильно фрагментирован, требуется несколько записей MFT.
Три записи MFT для сильно фрагментированного файла. В первой записи указывается индексы на дополнительные записи.
Может потребоваться очень много индексов MFT, так что индексы не поместятся в запись. В этом случае список хранится не в MFT, а в файле.
Запись MFT для небольшого каталога
Поиск файла в каталоге по имени состоит в последовательном переборе имен файлов.
Для больших каталогов используется другой формат. Используется дерево В+, обеспечивающее поиск в алфавитном порядке.