字节跳动推出CLASI：高质量端到端语音同步翻译系统

摘要

CLASI是由字节跳动开发的高质量语音同步翻译系统，模拟专业的人类译员。该系统能够实时翻译语音内容，保持高翻译质量和低延迟。利用先进的数据策略和多模态检索技术，CLASI在处理复杂术语和不清晰语音信息方面表现出色。通过结合外部知识库和历史上下文，CLASI生成准确且容错的翻译，在各种测试数据集上均有出色表现。

                                                 (demo演示——朗读 赤壁赋）

主要特点

1. 高质量实时翻译：模仿专业译员策略，提供高质量的实时翻译。
2. 多模态检索增强生成：处理专业术语时，从外部知识库中检索相关信息，确保翻译准确。
3. 上下文感知翻译：利用历史翻译内容，确保对话连贯，翻译更自然。
4. 数据驱动读写策略：模仿人类译员的工作方式，通过数据驱动的方式平衡翻译质量和延迟。
5. 多阶段训练：结合预训练、大规模多任务持续训练和人类标注数据的微调，提升翻译能力。
6. 有效信息比例评估：采用有效信息比例（VIP）指标评估翻译质量，在VIP指标上显著优于现有系统。

技术优势

1. 高效处理：实现高翻译质量与低延迟输出的平衡。
2. 开源共享：推动技术进步，提供代码和数据开源。
3. 鲁棒性和适应性：在处理复杂和真实世界的语音翻译任务时表现出色。

应用场景

1. 会议实时翻译
2. 在线视频翻译
3. 跨语言交流

相关链接

项目及演示：https://byteresearchcla.github.io/clasi/

论文：https://byteresearchcla.github.io/clasi/technical_report.pdf