最新游戏资讯字节科技惊喜发布mRASP2革命性多到多翻译模型让对比学习飞速进步
在全球化的浪潮中，跨语言交流成为了不可或缺的一部分。传统的人工翻译虽然精准，但昂贵且实时性差。而机器翻译则以其低成本、高效率赢得了广泛应用。不过，现有的多语言翻译模型主要依赖于英语相关的语料训练，这限制了它们在非英语方向上的表现力。字节跳动的研究团队推出了mRASP2，以对比学习和对齐增强技术为核心，将单语与双语训练融合，旨在优化语言无关表示，从而提升多语言翻译能力。
实验结果显示，在有监督、无监督以及零资源场景下，mRASP2均显著提高了翻译效果。在有监督环境中平均提升1.98 BLEU分数，无监督环境中提升14.13 BLEU分数，而零资源环境中提升10.26 BLEU分数。
mRASP2基于Transformer结构，并引入了对比学习任务，将编码器顶部与同义句相似的向量进行拉近，使得不同语言中的同义句能够更接近地分布在高维空间。同时，它结合交叉熵损失和对比损失实现多任务训练，以最大限度地利用各类数据集。此外，该模型采用词级别交叉熵损失函数，以及序列级别的对比损失函数来优化目标输出分布。
通过使用图像领域中的相似度/距离概念，即缩小正样本间距、扩大负样本间距，对于自然语言处理任务也具有良好的效果。具体来说，每个样本点作为锚点，其正例是目标端句子的向量表示，而负例是其他同批次数据点的目标端句子表示集合。这一设计使得模型能够区分并识别不同类型的句子之间关系。
此外,mRASP2还引入了一种名为“温度”的超参数，可以控制模型区分正负例难度程度。此外，该模型支持多种语言之间的平行词典替换（Random Aligned Substitution, RAS），以及单语数据增强方法，如随机替换中文单词为英文等，以丰富训练过程中的信息输入。
总之，mRASP2不仅改进了传统机器翻译系统，还提供了一种新的解决方案来应对跨越不同的文化和地域背景下的通信挑战，为全球化时代注入活力，并促进更加有效率、高质量的人类交流。
