36. Основные частные и интегральные критерии оценки аипс.

На основе первичных координат построены частные показатели оценки технической эффективности:

• Полнота- доля выданных релевантных документов по сравнению с их общим количеством в информационном массиве: r=a/(a+c)= x/x₀=|L^И ∩L^C|/|L^И|

• Точность – доля релевантных документов во множестве выданных: p=a/(a+b)=x/n=|L^И ∩L^C|/|L^C|

• Специфичность- доля невыданных документов по сравнению с невыданными и выданными нерелевантными: σ=d/(b+d)=1- (n-x)/(n₀ – x₀)=|L₀\ (L^И UL^C)| / |L₀\L^И|

• Общность- характеризует качество комплектования поискового массива ( доля релевантных документов в информационном массиве): p₀=(a+c)/(a+b+c+d)=n/n₀=|L^И|/|L₀|

• Относительный объем выдачи: v=(a+b)/(a+b+c+d)=n/n₀=|L^C|/|L₀|

Отдельно взятое значение одного из частных показателей не отражает качество выдачи, поэтому обычно их используют парами <r,p>, <v,r> и тд. Пары показателей могут быть интерпретированы как прямоугольные координаты, тогда выдача системы отображается точкой на соответствующей плоскости.

Координаты <v,r> получаются путем нормирования к единице координат <n,x>, при этом заштрихованные области диаграммы соответственно сжимаются до треугольника с меньшей стороной, равной р_0. Т.к. р₀ очень мало, этими областями можно пренебречь и в дальнейшем координаты <v,r> могут изображаться в форме квадрата без указания областей.

Интегральные показатели оценки технической эффективности.

Использование частных показателей неудобно, т.к. невозможно определить какая из выдач будет предпочтительнее- с координатами <r₁,p₁> или <r₂,p₂>, если p1<p2 и r1>r2. Это вызывает необходимость построения интегральных показателей. Если частные показатели p,r, σ включают только часть переменных <a,b,c,d> (как правило 3), то интегральные охватывают все переменные и вполне однозначны.

Интегральные показатели: коэффициент линейной корреляции и показатель полезной работы.

Показатель полезной работы базируется на предположении о том, что качество поиска АИПС тем выше, чем в большей степени потребитель освобождается от необходимости полного просмотра массива документов.

37. Понятие рабочей характеристики аипс.

Вывод показателя полезной работы АИПС базируется на предположении о том, что качество поиска АИПС тем выше, чем в большей степени потребитель освобождается от необходимости полного просмотра массива документов. Пусть потребителю требуются релевантные документы в количестве х. При непосредственном просмотре L0 трудозатраты (количество просмотренных документов) в среднем составляет:

В то время как при просмотре массива Lc, имеющего точность р, затраты

Работа АИПС равна разности данных величин или высвобожденной информационной деятельности потребителя:

(1)

С учётом других координат и переменных выражение примет вид:

Пусть прямые параллельны 0р0 и проходят через различные точки прямой 0И. Общее уравнение прямой, проходящей черези имеющей наклон р0, есть:

Подставим в формулу (1), имеем:

Тем самым, на прямых вида величина Сис остаётся постоянной. По мере приближения точки пересечения прямой с 0И к точке И данная константа увеличивается. Она приобретает значение, если линия проходит ниже прямой 0р0.

Таким образом, Сис удовлетворяет условиям:

Или в координатах <n,x>:

Установление пределов измерения Сис позволяет нормировать эту величину:

Мера полезной работы ИС изменяется от +1 до -1, причём:

в точке И ή=+1 (идеальная система, выдающая все релевантные и только релевантные сообщения)

в точке Д ή=-1 (система, выдающая все нерелевантные и только нерелевантные сообщения - дизинформирующая)