5. Принципи оцiнки якостi систем мп

Аналiзуючи системи машинного перекладу, так же, як iнформацiйнi системи двох iнших “класичних” типiв - пошуку i реферування iнформацiї, необхiдно вміти користуватися певними критерiями їх оцiнки, тому що iнакше буде незрозуміло, що саме ми розумiємо пiд “хорошою” та “поганою” системами. Зрозумiло, оцiнювати якiсть перекладу ми можемо тiльки щодо систем автоматичного МП, тодi як якiсть автоматизованих систем логiчно оцiнювати в основному з точки зору їх зручностi.

Щодо лiнгвiстичних можливостей систем МП, найбiльш поширеним i широко цитованим у лiтературi є такий пiдхiд до оцiнки текстiв, генерованих комп’ютером, при якому пiдраховується кiлькiсть правильно перекладених речень. Доцільно дотримуватися суто прагматичного пiдходу до оцiнки iнформацiйної системи. Ми вважаємо, що система МП може бути визнана ефективною для цiлей здобуття iнформацiї, якщо переклади, що генеруються нею, є зрозумiлими користувачевi й читаються ним без особливої напруги. Щодо систем, орiєнтованих на поширення iнформацiї, то до якостi їх роботи висуваються, взагалi кажучи, бiльш жорсткi вимоги: переклад, виконаний такою системою, має бути не тiльки зрозумiлим науково-технiчному редактору або квалiфiкованому перекладачеві, але й вимагати принаймнi не бiльших витрат на редагування, нiж “ручний” переклад того ж тексту.

Можна запропонувати таку шкалу оцiнки якостi машинного перекладу:

1. Якiсть перекладу є неприйнятною. Переклад повністю непридатний ні для яких цiлей. Краще читати оригiнал, нiж такий “переклад”.

2. Переклад поганий, вдається вловити лише деякi фрагменти змiсту. Ледве зрозумiло, про що йдеться в текстi.

3) Якiсть перекладу низька. Можна зрозумiти лише загальний змiст тексту, але читати великi порцiї такого перекладу важко. Переклад такої якостi можна використати при формуваннi довiдково-iнформацiйного фонду, але не у виглядi iнформацiйного чи навiть сигнального документу.

4) Якiсть перекладу середня. Такий переклад може бути використаний при первинному ознайомленнi зi змiстом невеликого чи середнього за обсягом документу для визначення необхiдностi його повного перекладу, або при читаннi великого тексту - для визначення фрагментiв, якi потребують квалiфiкованого перекладу.

5) Якiсть перекладу прийнятна. Зрозумiлi тематика та змiст документу. Iз перекладу можна зрозуміти також деякi фактичнi вiдомостi. В цiлому ж переклад читається з напругою.

6) Переклад задовiльний. Є помилковi та незрозумiлi фрагменти, але їх порiвняно небагато, в цiлому ж переклад може бути використаний як джерело iнформацiї.

7) Переклад хороший, хоч i граматично кострубатий.

Ще одним критерiєм оцiнки системи МП має бути комфортнiсть з точки зору кiнцевого користувача. У поняття комфортностi входить багато технiчних i лiнгвiстичних аспектiв, на якi слід звертати увагу при розглядi конкретних систем.