Standards for Assessing the Quality of Political Discourse Translation Using Large Language Models

Cover Page

Cite item

Full Text

Abstract

The subject of this research is the development of a comprehensive system of standards for assessing the quality of political discourse translation using large language models. The study focuses on creating an integrative approach to evaluating the translation of Chinese political discourse into Russian, which is particularly relevant in the context of strengthening the Russian-Chinese strategic partnership. The developed three-level assessment model takes into account the specifics of political discourse, characterized by a high degree of terminological density, conceptual specificity, and ideological marking. The model is based on parameters of informational integrity, linguistic accuracy, and intercultural readability, providing a comprehensive analysis of translation at all levels: from lexical and syntactic correspondence to the transfer of semantic relations and cultural-pragmatic aspects. Special attention within the research is given to applying the technological capabilities of large language models for automated analysis of translation problems and improving the political text translation. The proposed system takes into account the requirements of the "Basic Standards for Translating Chinese Political Discourse," adapting them to the context of Russian-Chinese intercultural communication. The research methodology is based on a systematic analysis of classical and modern translation assessment models, followed by functional modeling of an integrative approach that combines linguistic theories, computational methods, and the capabilities of large language models for translation assessment. The scientific novelty of the research lies in bridging the gap between theoretical models of translation assessment and their practical implementation by integrating traditional linguistic approaches, computational methods, and industry standard requirements with the technological capabilities of large language models. For the first time, a detailed structure for assessing the quality of political discourse translation with 10 second-level parameters and 36 third-level parameters is proposed, providing a comprehensive analysis of translation activity. It has been proven that the use of large language models significantly increases the efficiency and objectivity of assessment through deep semantic analysis and automated diagnosis of translation problems. The developed system has high practical value, being applicable both for analyzing completed translations and for predicting potential difficulties in translating political texts in the context of Russian-Chinese intercultural communication.

About the authors

Miao Liu

Email: liumiaolm@pku.edu.cn
ORCID iD: 0000-0003-2346-0600

References

  1. Федоров А. В. Введение в теорию перевода: (лингвистич. проблемы). – 2-е изд., перераб. – Москва: Изд. лит. на иностр. яз., 1958. – 374 с.
  2. Бархударов Л. С. Язык и перевод. – М.: Международные отношения, 1975. – 235 с.
  3. Комиссаров В. Н. Лингвистика перевода. – Москва: Международные отношения, 1980. – 167 с.
  4. Райс К. Возможности и границы критики перевода. – Мюнхен: М. Хюбер, 1971. – 124 с.
  5. House J. Translation Quality Assessment: A Model Revisited. – Gunter Narr Verlag, 1997. – 207 p.
  6. Williams M. Translation quality assessment: An argumentation-centred approach. – University of Ottawa Press, 2004. – 209 p.
  7. Specia L., Raj D., Turchi M. Machine Translation Evaluation versus Quality Estimation // Machine Translation. – 2010. – Vol. 24. – P. 39-50. doi: 10.1007/s10590-010-9077-2 EDN: QHHKQW
  8. Юй Шивэнь. О некоторых исследованиях в области вычислительной лингвистики // Применение языка и письменности. – 1993. – № 3. – С. 55-64.
  9. Callison-Burch C., Fordyce C. S., Koehn P., Monz C., Schroeder J. (Meta-) Evaluation of Machine Translation // In Proceedings of the Second Workshop on Statistical Machine Translation. – 2007. – P. 136-158.
  10. Kocmi T., Federmann C. Large language models are state-of-the-art evaluators of translation quality // arXiv preprint arXiv:2302.14520. – 2023.
  11. Денисенко В. В., Чесников Л. С. Стратегии оптимизации и методы оценки для точной настройки больших языковых моделей // Международный журнал гуманитарных и естественных наук. – 2024. – № 4-1 (91). – С. 180-184. doi: 10.24412/2500-1000-2024-4-1-180-184 EDN: MGIFYI
  12. Лю М., Шао Ц., Се Г. Автоматизированный перевод политического дискурса: от больших языковых моделей к мультиагентной системе MAGIC-PTF // Litera. 2024. № 11. С. 28-46. doi: 10.25136/2409-8698.2024.11.72197 EDN: GFRZMO URL: https://nbpublish.com/library_read_article.php?id=72197
  13. Чжао Цзюньфэн, Ли Сян. Исследование построения и применения переводческих агентов на основе больших языковых моделей // Преподавание иностранных языков с помощью электронных технологий. – 2024. – № 5. – С. 22-28, 75, 108.
  14. Ли Дэфэн, Ван Хуашу, Лю Шицзе. Национальные возможности переводческих технологий и большие языковые модели // Шанхайский перевод. – 2025. – № 2. – С. 18-24.
  15. Lu Q., et al. Error analysis prompting enables human-like translation evaluation in large language models // arXiv preprint arXiv:2303.13809. – 2023.
  16. Huang H., et al. Towards making the most of llm for translation quality estimation // CCF International Conference on Natural Language Processing and Chinese Computing. – Cham: Springer Nature Switzerland, 2023.
  17. Zhang B., Haddow B., Birch A. Prompting large language model for machine translation: A case study // International Conference on Machine Learning. – PMLR, 2023.
  18. Чжао Янь, Чжан Хуэй, Ян Ичэнь. Сравнительное исследование качества больших языковых моделей в переводе текстов - на примере перевода "Цветения" // Преподавание иностранных языков с помощью электронных технологий. – 2024. – № 4. – С. 60-66, 109.
  19. Бюлер К. Теория языка: Репрезентативная функция языка. – Йена: Густав Фишер, 1934. – 434 c.
  20. Чжан Мэйфан. Функциональный подход к исследованию перевода. – Шанхай: Шанхайское издательство образования по иностранным языкам, 2005. – 233 c.
  21. House J. A Model for Translation Quality Assessment. – TBL-Verlag Narr, 1977. – 344 p.
  22. Юань Хун. Объяснительная сила типологии текста и функциональной лингвистики в оценке качества перевода // Журнал Хунаньского института гуманитарных наук и технологий. – 2007. – № 1. – С. 158-161.
  23. Newmark P. Approaches to Translation. – Oxford: Pergamon Press, 1981. – 344 p.
  24. Newmark P. A textbook of translation. – Vol. 66. – New York: Prentice Hall, 1988. – 402 p.
  25. Гу Чжэнкунь. О многомерной взаимодополняющей теории стандартов перевода // Китайский перевод. – 1989. – № 1. – С. 16-20.
  26. Пэн Чуньянь. Новая теория стандартов перевода - пересмотр системы стандартов перевода, установленной профессором Гу Чжэнкунем // Научный журнал Университета Сунь Ятсена. – 2004. – № 5. – С. 237-241.
  27. Сы Сяньчжу. Исследование модели оценки качества перевода с точки зрения функциональной лингвистики // Преподавание иностранных языков. – 2004. – № 4. – С. 45-50.
  28. Хэ Саньнин. Исследование моделей оценки качества перевода. – Пекин: Центральное издательство переводов, 2015. – 256 с.
  29. Papineni K., Roukos S., Ward T., Zhu W. J. "BLEU: A Method for Automatic Evaluation of Machine Translation." // In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics. – 2002. – P. 311-318.
  30. Doddington G. "Automatic Evaluation of Machine Translation Quality Using N-gram Co-occurrence Statistics." // In Proceedings of the Second International Conference on Human Language Technology Research. – 2002. – P. 138-145.
  31. Duh K. "Ranking vs. Regression in Machine Translation Evaluation." // In Proceedings of the Third Workshop on Statistical Machine Translation. – 2008. – P. 191-194.
  32. Базовые нормы перевода китайского политического дискурса на английский язык / Под ред. редакционной группы. – Пекин: Издательство литературы на иностранных языках, 2023. – 234 с.

Supplementary files

Supplementary Files
Action
1. JATS XML
Download

Согласие на обработку персональных данных

 

Используя сайт https://journals.rcsi.science, я (далее – «Пользователь» или «Субъект персональных данных») даю согласие на обработку персональных данных на этом сайте (текст Согласия) и на обработку персональных данных с помощью сервиса «Яндекс.Метрика» (текст Согласия).