TransBench
收藏资源简介：
TransBench是第一个面向工业应用的综合多语言翻译评估系统，通过精心策划的数据集量化翻译模型在不同行业和语言环境中的表现。数据集覆盖16种以上语言，包括中文、英文、法语、日语、阿拉伯语等，并针对电子商务、客户服务、营销和跨文化适应等行业提供专门的数据集。评估维度包括语言准确性、文化适应性和行业特定要求。
TransBench is the first comprehensive multilingual translation evaluation system designed for industrial applications. It quantifies the performance of translation models across various industries and linguistic environments through meticulously curated datasets. The dataset encompasses over 16 languages, including Chinese, English, French, Japanese, Arabic, and more, and offers specialized datasets for e-commerce, customer service, marketing, and cross-cultural adaptation industries. The evaluation dimensions include language accuracy, cultural adaptation, and industry-specific requirements.
TransBench 数据集概述
基本信息
- 名称: TransBench
- 版本: 1.0.0
- 许可证: CC BY 4.0
- Python版本要求: 3.8
- 作者: Haijun Li, Tianqi Shi, Zifu Shang, Yuxuan Han, Xueyu Zhao, Hao Wang, Yu Qian, Zhiqiang Qian, Linlong Xu, Minghao Wu, Longyue Wang, Gongbo Tang, Weihua Luo, Zhao Xu, Kaifu Zhang
- 机构: Alibaba International Digital Commerce, Beijing Language and Culture University
项目概述
TransBench 是首个面向工业应用的综合多语言翻译评估系统，通过精心策划的数据集量化翻译模型在不同行业和语言环境中的表现，这些数据集符合通用翻译标准、垂直行业规范和文化本地化要求。
关键特性
- 全球语言覆盖: 16+ 种语言，包括中文、英文、法语、日语、阿拉伯语等
- 行业特定评估: 针对电子商务、客户服务、营销和跨文化适应的专用数据集
- 多维度评估: 结合语言准确性、文化适宜性和行业特定要求
- 鲁棒性测试: 包括稳定性攻击数据（拼写错误、词序混乱、术语错误）
评估维度
-
通用翻译标准
- 重点: 基本翻译准确性
- 主要指标: BLEU 分数
-
电子商务垂直标准
- 重点: 行业特定翻译质量
- 主要指标: E-MOS（专家平均意见分数）
-
文化本地化标准
- 重点: 跨文化适应
- 主要指标: 准确率
数据集概览
| 类别 | 子领域 | 覆盖语言 |
|---|---|---|
| 电子商务 | 产品列表、SEO 文本、客户评价 | 16 种语言 |
| 客户服务 | 问答对话、知识库 | 12 种语言 |
| 文化适应 | 禁忌映射、敬语规范 | 8 种语言 |
| 压力测试 | 对抗性输入、错误模拟 | 所有语言 |
基准排行榜
- 评分规则: 综合分数 = 三个维度标准化分数的平均值
- 最新更新: 2025-04-28
| 排名 | 模型 | 类型 | 参数 | 发布日期 | 综合分数 | 通用 ↑ | 电子商务 ↑ | 文化 ↑ |
|---|---|---|---|---|---|---|---|---|
| 1 | GPT-4o | LLM | - | 2024-11-20 | 48.408 | 4.255 | 0.303 | - |
| 2 | DeepL Translate | MT | - | 2025-04-27 | 48.371 | 4.068 | 0.245 | - |
评估指标
通用翻译标准
- BLEU 分数: 测量与参考翻译的 n-gram 精度
- 错误率: 计算误译和遗漏
电子商务标准
- E-MOS: 专家评估（1-5 分）:
- 产品术语准确性
- SEO 有效性
- 查询理解
文化标准
- 禁忌避免: 宗教/饮食/性别规范合规性
- 敬语准确性: 上下文适当的正式语言
- 本地化指数: 目标文化自然度
引用
bibtex @misc{zhao2024marcoo1openreasoningmodels, title={TransBench: Benchmarking Machine Translation for Industrial-Scale Applications}, author={Haijun Li, Tianqi Shi, Zifu Shang, Yuxuan Han, Xueyu Zhao, Hao Wang, Yu Qian, Zhiqiang Qian, Linlong Xu, Minghao Wu, Chenyang Lyu, Longyue Wang, Gongbo Tang, Weihua Luo, Zhao Xu, Kaifu Zhang}, year={2025}, eprint={2505.14244}, archivePrefix={arXiv}, primaryClass={cs.CL}, url={https://arxiv.org/abs/2505.14244}, }
许可证
- 类型: CC BY-NC-SA 4.0
- 链接: https://creativecommons.org/licenses/by-nc-sa/4.0/
