- •Титульный лист
- •Оглавление
- •Введение
- •1. Постановка задачи
- •2. Анализ задачи
- •2.1. Анализ предметной области
- •2.2. Методы автоматической классификации текстов
- •2.3. Метрики оценки качества рубрицирования
- •2.4. Существующие решения
- •2.5. Предлагаемые алгоритмы для работы классификатора
- •2.6. Анализ архитектуры модуля
- •2.7. Средства реализации
- •3. Аппаратные и программные требования
- •Серверная часть
- •Клиентская часть
- •4. Реализация
- •4.1. Структура базы данных
- •4.2. Реализация классов
- •4.3. Пример использования
- •5. Оценка качества рубрицирования
- •Заключение
- •Список литературы
- •Приложение 1. Класс-action ShowRubricProbability
- •Приложение 6. Результаты автоматической классификации объявлений
Приложение 6. Результаты автоматической классификации объявлений
Объявление: «Требуется на работу бухгалтер»
Результат по рубрикам
Способ с заменой на 0.0000000000000001 для инф частей |
|
Требуются на работу |
0.0420216077623008 |
Учебные заведения, курсы |
1.948307846244512E-5 |
Гувернантки, няни |
2.0563132933028266E-18 |
Строительные услуги |
8.668385339013917E-20 |
Транспортные услуги |
7.0203670931174E-20 |
Способ с заменой на 0.0000000000000001 для объявлений |
|
Требуются на работу |
7.110222490102461E-4 |
Медицинские услуги |
1.3209117368337559E-17 |
Охранная деятельность |
6.604558684168779E-18 |
Бытовые услуги |
2.304621028451916E-18 |
Гувернантки, няни |
1.6106666415640718E-18 |
Способ с прибавлением 1 для инф_частей |
|
Требуются на работу |
1,63982 |
Поиск работы |
0,8881 |
Услуги грузчиков |
0,68315 |
Консультации, репетиторство |
0,63068 |
Различные услуги |
0,6089 |
Способ с прибавлением 1 для для объявлений |
|
Медицинские услуги |
0,52836 |
Охранная деятельность |
0,39627 |
Требуются на работу |
0,3135 |
Гувернантки, няни |
0,2829 |
Бытовые услуги |
0,27122 |
Приложение 7. Результаты эксперимента по классификации шаблонных текстов объявлений с использованием алгоритма с заменой нулевой вероятности появления слова в рубрике на малую величину без учета априорной вероятности выбора рубрики
В первом столбце таблицы содержатся: название рубрики, количество правильно отрубрицированных объявлений, количество неправильно отрубрицированных объявлений и количество объявлений в обучающей выборке для данной рубрики.
|
Полнота, % |
Точность, % |
F-мера, % |
Строительные материалы 90:10 938 |
90,00 |
90,00 |
90,00 |
Электрика, освещение 84:16 376 |
84,00 |
84,00 |
84,00 |
Строительные услуги 63:37 192 |
63,00 |
63,00 |
36,00 |
Продукты питания 83:29 169 |
83,00 |
74,10 |
78,30 |
Требуются на работу 98:2 17603 |
98,00 |
98,00 |
98,00 |
Поиск работы 98:2 4568 |
98,00 |
98,00 |
98,00 |
Мототехника 88:12 603 |
88,00 |
88,00 |
88,00 |
Транспорт в аренду 74:26 80 |
92,50 |
74,00 |
82,22 |
Легковые автомобили на запчасти 36:64 573 |
36,00 |
36,00 |
36,00 |
Компьютеры 95:5 2764 |
95,00 |
95,00 |
95,00 |
Телефония, средства связи 92:22 483 |
92,00 |
80,70 |
85,98 |
Оборудование, сырье, инструменты 78:40 3457 |
78,00 |
66,10 |
71,56 |
Запчасти для с/х, спецтехники 77:23 386 |
77,00 |
77,00 |
77,00 |
Мебель для офиса 89:11 362 |
89,00 |
89,00 |
89,00 |
Помещения, офисы, склады 70:30 102 |
70,00 |
70,00 |
70,00 |
Консультации, репетиторство 43:26 43 |
100,00 |
74,00 |
85,06 |
1 http://www.cmlt.ru/