13. Структура хранения данных на жестких дисках. Почему возможно восстановить удаленные файлы и как этого избежать?

На жестком диске данные хранятся на магнитной поверхности диска. Информация записывается и снимается с помощью магнитных головок (все почти как в магнитофоне). Внутри жесткого диска может быть установлено несколько пластин (дисков), в просторечье именуемые "блинами". Двигатель, вращающий диск, включается при подаче питания на диск и остается включенным до снятия питания.

Двигатель вращается с постоянной скоростью, измеряемой в оборотах в минуту (rpm). Данные организованы на диске в цилиндрах, дорожках и секторах. Цилиндры - концентрическе дорожки на дисках, расположенные одна над другой. Дорожка затем разделяется на сектора. Диск имеет магнитный слой на каждой своей стороне. Каждая пара головок одета как бы на "вилку", обхватывающую каждый диск. Эта "вилка" перемещается над поверхностью диска с помощью отдельного серводвигателя (а не шагового, как часто ошибочно думают - шаговый двигатель не позволяет быстро перемещаться над поверхностью). Все жесткие диски имеют резервные сектора, которые используются его схемой управления, если на диске обнаружены дефектные сектора.

Упрощая, информация на жёстком диске сохраняется по секторам, имеющим свой индекс (этакий заголовок) и обозначающим ту информацию, которую они в себе хранят. Когда информация записывается на диск она распределяется по этим секторам, а внутренние программы жёсткого диска находят соответствующие части программы и организуют взаимодействие между ними. Когда форматируешь жёсткий диск, попросту удаляются заголовки секторов, то есть диск в принципе не пуст, просто обозначается, как пустой + информация перемешивается. Лучше всего несколько раз поверх первоначальной информации что-то перезаписать, хотя и это, как показывает практика малоэффективно.

Таким образом, простое удаление файлов или даже переформатирование жесткого диска фактически не удаляет информацию. Запись поверх удаляемой информации новых данных так же не дает полной гарантии ее уничтожения. Это обусловлено тем, что траектория движения записывающей головки жесткого диска не совпадает с магнитной дорожкой абсолютно точно. По краям дорожек имеются области остаточной намагниченности, несущие информацию о предыдущих записях.

Так что если хочешь сохранить свою информацию в конфиденциальности, либо не допускай никого до жёсткого диска и физически отключи компьютер от инета, либо уничтожь сам диск. Стандартными путями лажал даже Пентагон, который слил свои компьютеры с максимально зачищенными жёсткими дисками, а потом бравые русские, разузнав, куда эти компьютеры списаны, сумели восстановить приличное кол-во конфиденциальной информации.

14. Поиск в Интернете. (История, развитие поисковых систем, крушение иерархической и каталогизированной структуры)

И хоть родоначальником идеи Интернета и технологий поиска является Вэннивер Буш, но на практике реализовали его идеи другие ученые. В 1958 г. в США при Министерстве обороны создано Агентство Передовых Исследовательских Проектов (Advanced Research Projects Agency - ARPA), где с 1963 по 1969 года ученые работают над новой предложенной концепцией передачи информации посредством компьютерной сети.  Изначально соединение для передачи зашифрованных данных планировалось использовать в военных целях, но низкий уровень безопасности передачи информации заставили военных отказаться от продолжения разработок. И только к концу 1980-х гг. идею создания компьютерной сети воскресили в своих разработках несколько университетов США, объединив свою библиотеку образовательной информации посредством соединения сетями. В 90-х гг. началось бурное развитие Интернета, а с февраля 1993 года как только Марк Андрессен (Mark Andressen) из NCSA (Национальный Центр Суперкомпьютерных приложений США) закончил начальную версию программы визуализации гипертекста Mosaic под UNIX, которая имела удобный графический интерфейс и стала прототипом современных браузеров, интернет начал входить в массы. В середине 90-х годов поиск нужной информации осуществлялся посредством размещения сайтов в каталогах, которых на тот момент было не много, да и не блистали изобилием сайтов, но тем не менее информация была упорядочена по тематиками и рубрикам. Кстати, в 1993 г. в сети уже имелись три бота поисковых систем. Это были некоммерческие разработки и с наплывом огромного количества информации они не справились и исчезли в водовороте бурного развития интернета.  С 1995 года свое верхоправие в глобальном интернете взяли на себя, ставшие впоследствии крупными, поисковые системы Google, Yachoo, Alta Vista в западном Интернете и Yandex, Rambler, Aport в рунете. 

Немного википедии о каталогах в интернете.

Каталог сайтов Интернета, или каталог Интернет-ресурсов, или просто Интернет-каталог — структурированный набор ссылок на сайты с кратким их описанием. Сайты внутри каталога разбиваются по темам, а внутри тем могут быть ранжированы или по индексу цитирования (как в каталогах Яндекса или Google), или по дате добавления, или по алфавиту, или по другому параметру. Подавляющее большинство рейтингов посещаемости ресурсов имеют классификатор сайтов, но ранжирование всегда основано на посещаемости сайтов. В зависимости от широты тематики ссылок каталоги могут быть общими и специализированными (тематическими).

И уточнения о самих поисковых системах.

Первой полнотекстовой (т. н. «crawler-based», то есть индексирующей ресурсы при помощи робота) поисковой системой стала «WebCrawler», запущенная в 1994. В отличие от своих предшественников, она позволяла пользователям искать по любым ключевым словам на любой веб-странице — с тех пор это стало стандартом во всех основных поисковых системах. Кроме того, это был первый поисковик, о котором было известно в широких кругах. В 1994 был запущен «Lycos», разработанный в университете Карнеги Мелона.

Вскоре появилось множество других конкурирующих поисковых машин, таких как «Excite», «Infoseek», «Inktomi», «Northern Light» и «AltaVista». В некотором смысле они конкурировали с популярными интернет-каталогами, такими, как «Yahoo!». Позже каталоги соединились или добавили к себе поисковые машины, чтобы увеличить функциональность. В 1996 году русскоязычным пользователям интернета стало доступно морфологическое расширение к поисковой машине Altavista и оригинальные российские поисковые машины «Рамблер» и «Апорт». 23 сентября 1997 была открыта поисковая машина Яндекс.

В последнее время завоёвывает всё большую популярность практика применения методов кластерного анализа и поиска по метаданным. Из международных машин такого плана наибольшую известность получила «Clusty» компании Vivísimo. В 2005 году на российских просторах при поддержке МГУ запущен поисковик «Нигма», поддерживающий автоматическую кластеризацию. В 2006 году открылась российская метамашина Quintura, предлагающая визуальную кластеризацию в виде облака тегов. «Нигма» тоже экспериментировала с визуальной кластеризацией.

Последний абзац может быть использован в следующем билете.