Nature重磅：科幻“巴别鱼”真来了？AI实现人类101种语言语音互译

本文介绍了Meta开发的开源多语言、多模态机器翻译模型SeamlessM4T，该模型实现了100多种语言的语音-语音、语音-文本和文本-语音的高效翻译。SeamlessM4T在处理语音到文本任务时，抵御背景噪音和适应说话者变化的能力比其他系统高出约50%，展现出强大的鲁棒性。研究团队采用自监督和半监督学习方法训练模型，减少了对人工特定标签的依赖。尽管SeamlessM4T在翻译任务中表现出色，但仍存在一些局限性，如受用户性别、种族、口音和语言差异影响，以及在处理俚语和专有名词时的翻译质量参差不齐。未来研究将关注语音的韵律和情感，以及低延迟语音翻译和流式翻译技术的突破。