欧盟机构大模型多语言持续预训练论文获EuroHPC最佳论文奖

欧盟委员会翻译总司、通信网络内容与技术总司及联合研究中心团队撰写的论文《缓解多语言持续预训练中的灾难性遗忘：欧盟机构大模型的经验》在EuroHPC用户日获最佳论文奖。论文经同行评审委员会评估，因科学卓越性和超算资源使用最佳实践入选。研究测试了欧盟机构大模型在24种欧盟官方语言中的通用推理、语言理解与毒性抵抗能力，发现通过调整学习率、数据和训练流程可减少但无法完全避免灾难性遗忘。

该论文为构建面向欧洲公共部门需求的高质量多语言大模型提供了可复用的实践方法，其结论直接服务于欧盟机构、中小企业、学术界和非政府组织可用的AI翻译与语言工具。对教育领域而言，多语言模型能力边界和公共部门语言基础设施的改进，会影响依赖欧盟官方语言的教学资源生成、跨语言学习…。欧盟公共行政部门、中小企业、学术界和非政府组织可用的AI翻译与语言工具将受益于更稳定的多语言模型能力。依赖欧盟官方语言的跨语言教学资源和翻译类教育产品，其底层模型的语言覆盖与稳定性可能随该研究经验的应用而变化。