DQF-MQM
Dynamic Quality Framework/Multidimensional Quality Metrics (DQF-MQM) — экспертная система оценки (метрика) показателей качества перевода.
История проекта
Разработанная и DFKI в 2014 году[1], изначально данная метрика представляла собой два независимых проекта: англ. Dynamic Quality Framework (DQF), разрабатываемый ассоциацией TAUS и англ. Multidimensional Quality Metrics (MQM), создаваемый DFKI в рамках проекта QTLaunchPad, финансируемого ЕС. В 2014 году было принято решение объединить два проекта, чтобы упростить применение метрики поставщиками переводческих услуг[2].
Описание метрики
Метрика представляет собой многоуровневую типологию ошибок[3], где наиболее наиболее обобщённые типы относятся к первому уровню, а наиболее специфицированные — к четвёртому. Так к первому уровню метрики относятся такие типы ошибок как Accuracy (Точность), Fluency (Естественность), Terminology (Терминология), Locale convention (Нарушение традиции написания текстов), Verity (Достоверность), Design (Дизайн), Internationalisation (Интернационализация) и Other (Другое).
Каждой ошибке присваивается степень критичности:
- Critical (критическая) — ошибка в переводе может привести к серьёзным последствиям (поломка устройства, угроза имиджу компании, нарушение законодательства). Наличие такой ошибки делает перевод непригодным.
- Major (серьёзная) — ошибка значительным образом затрудняет восприятие текста.
- Minor (незначительная) — ошибка незначительным образом затрудняет восприятие текста.
- Neutral (нулевая) — текст не содержит ошибку, но на обозначенный фрагмент стоит обратить особое внимание.
Стандартные значения штрафов для данный степеней 100, 10, 1 и 0 соответственно, однако рецензент вправе изменять их в случае необходимости. Далее производится расчёт индекса качества перевода по формуле Q = 1 - (P/C), где
- Q - индекс качества перевода;
- P - суммарный штраф за все ошибки всех типов;
- C - количество слов в тексте.
Дальнейшее развитие
Начиная с 2015 года, продолжается развитие «гармонизированной метрики» в рамках программы Евросоюза «Качество перевода 21»[4].
Примечания
- ↑ А.К. Рычихин. О методах оценки качества машинного перевода // Системы и средства информатики. — 2019. — Т. 29, № 4. — С. 106—118.
- ↑ A. Lommel. Metrics for Translation Quality Assessment: A Case for Standardising Error Typologies (англ.) // Springer. — 2018. — P. 109—127. Архивировано 12 января 2021 года.
- ↑ DQF-MQM error typology. Дата обращения: 6 февраля 2021. Архивировано из оригинала 6 января 2021 года.
- ↑ Harmonised metric QT21. Дата обращения: 6 февраля 2021. Архивировано 30 декабря 2020 года.