Министерство цифрового развития, связи и массовых коммуникаций

Российской Федерации Ордена Трудового Красного Знамени

федеральное государственное бюджетное образовательное

учреждение высшего образования

Московский технический университет связи и информатики

Кафедра «Математическая кибернетика и информационные технологии»

Лабораторная работа №8

«Модифицированный веб-сканер»

по дисциплине

«Кроссплатформенные технологии программирования»

.

Москва 2022

Содержание

1 Цель работы 3

2 Задание на лабораторную работу 3

3 Ход работы 4

3.1 Crawler 4

3.2 CrawlerTask 6

3.3 URLDepthPair 9

3.4 URLPool 10

4 Вывод 11

Список использованных источников 11

1 Цель работы

Реализовать элементарный веб-сканер, который будет автоматически загружать веб страницы из интернета, искать новые ссылки на этих страницах и повторять их. Расширить сканер для использования поточной обработки Java, чтобы несколько страниц можно было сканировать параллельно.

2 Задание на лабораторную работу

1. Реализовать класс Crawler для обработки URL-адресов

2. Реализовать класс CrawlerTask, который просматривает веб-сайты и добавляет новые ссылки в пул для обработки другими потоками.

3. Реализовать класс URLDepthPair, который сохраняет URL-адреса и глубину, на которой они исследованы.

4. Реализовать класс класс URLPool, который отслеживает URL-адреса, которые необходимо обработать, а также URL-адреса которые уже просмотрены.

3 Ход работы

3.1 Crawler

Отвечает за обработку URL-адресов. Код представлен на рисунке 1 и 2.

Рисунок 1-Crawler

Рисунок 2-Crawler

3.2 CrawlerTask

Просматривает веб-сайты и добавляет новые ссылки в пул для обработки другими потоками. Код представлен на рисунках 3, 4, 5.

Рисунок 3-CrawlerTask

Рисунок 4-CrawlerTask

Рисунок 5-CrawlerTask

3. URLDepthPair

Cохраняет URL-адреса и глубину, на которой они исследованы. Код представлен на рисунке 5.

Р исунок 5-URLDepthPair

3. URLPool

Отслеживает URL-адреса, которые необходимо обработать, а также URL-адреса, которые уже просмотрены. Код представлен на рисунках 6 и 7.

Рисунок 6-URLPool

Рисунок 6-URLPool

4 Вывод

Был реализован элементарный веб-сканер, который будет автоматически загружать веб страницы из интернета, искать новые ссылки на этих страницах и повторять их. Расширил сканер для использования поточной обработки Java, чтобы несколько страниц можно было сканировать параллельно.

Список использованных источников

1) ГОСТ 7.32.2017 Система стандартов по информации, библиотечному и издательскому делу. Отчет о научно-исследовательской работе. Структура и правила оформления. – М.: Стандартинформ, 2017, - 27 с.