如今，在线翻译已成为常用工具，但其翻译质量仍不稳定。苏尔古特国立大学指出，目前业界使用各种特殊指标来分析和改进这类程序的翻译错误。
该校的科学家们开发了一个程序，他们称，该程序能提供比标准方法更深入、更多维的分析。
苏尔古特国立大学语言学专业硕士研究生亚罗斯拉娃·巴库缅科说道：“许多评估指标，尤其是BLEU（双语评估替换），这种最常见的通过统计短语字面匹配度进行评价的系统，可能会呈现片面的结果。我们的发明解决了这个问题，它能进行综合分析，在句法和语义传达层面揭示翻译的薄弱环节。”
她表示，该程序不仅能评估词汇匹配度（选词准确度），还能评估语义准确度（意义传递是否正确）和句法结构正确性（句子构建是否规范）。与同类工具相比，其关键优势在于将多种评估方法整合到一个自动化工具中。
研究过程中，团队对主流在线翻译服务和商用神经网络的译文进行了分析。针对每份译文都生成了详细报告，任何指标得分较低的句子都会自动标亮以供进一步分析。
苏尔古特国立大学的研究人员表示，部分翻译工具在词汇匹配度（选词精确性）方面表现良好。然而，所有测试系统在翻译复杂的语法结构时都遇到了困难。
该校语言学与翻译学系副教授阿克萨娜·塔吉博娃指出：“我们成功开发的工具不仅能提供整体评估，更能精确识别错误类型——无论是词汇、语法还是语义错误。这使分析过程更加高效，有助于明确机器翻译系统的改进方向。”
苏尔古特国立大学的科学家们研究成果的核心是基于Python语言开发的程序，运用了自然语言处理专用工具库nltk，使计算机能够"理解"并将文本分割成独立句子和词汇。同时采用了Stanza库进行语法分析，识别每个词语在句子中的语法功能。