作为元宇宙最坚定的支持者之一,Facebook 在上个月宣布改名 Meta,此后便新动作不断,先是推出了一个触觉手套,试图让人们在 VR 世界中也能体验到触觉变化。
触觉之后,Meta 又盯上了语言,它要让人们在虚拟世界中也可以无障碍沟通,哪怕双方使用的语言不同,你说英语,我说中文都能互相理解。
就这样 XLS-R 来了,它是 Meta 最近发布的一个 AI 语言处理模型,最高能识别 128 种语言,目前已经公布了网页体验版。
▲ XLS-R 网页体验版仅支持语音输入
体验版的功能有一定缺失,仅支持将 22 种语言翻译为 16 种语言,我试了下最常见的英译中,一段 7 秒左右英文语音,XLS-R 还是能相对准确地识别,中文翻译和英文识别都基本正确,两者耗时都在 1.4 秒 左右,并不算短。
对比市面上常见语音翻译应用,这个速度和转译表现其实中规中矩,都对口语清晰度有要求,一旦语速稍微快一些,就比较难理解,转译会出错。
XLS-R 的潜力体现在多语言通用 AI 模型上,据 Meta 该技术基于 wac2vec 2.0 预训练模型,能将语音拆成拆成 25 毫秒的基本单元来分析,利用上下文转换语音内容,提升识别准确度。
言,转换准确率提升了不少,经过通过 436000 小时的公开录音训练后,才有如今的 XLS-R。
▲XLS-R 识别单词错误率更低
XLS-R 仅仅用一种语言模型就可以转换 128 种语言,和特殊领域使用特殊模型的常见做法不同,极大地提升了通用性。在官方博客中,Meta 表示它们的目标是用单一模型识别全球 7000 多种语言,从而改进转换算法。
这是一个新的开始,离真正成为 Meta 所设想的虚拟世界基础组成部分还比较难,这不仅仅和技术有关,设备算力也是限制。
作为同在在自然语言识别领域拥有大量技术储备的 Google,其实比 Meta 更早在消费级设备上支持多语种翻译功能,Pixel 6 系列支持 live Translate 功能,可以在聊天软件中进行翻译,无障碍地与外语朋友交流。
只是 live Translate 功能支持的语言并不算多,主要还是英语、德语、日语之间的翻译,哪怕 Pixel 6 所使用的 Tensor 芯片在 AI 性能方面已经是冠绝全球,达到了骁龙 888+ 的三倍。
只有联网 live Translate 功能才能做到支持 48 种语言,而使用云计算技术的 Google 翻译也仅支持 108 种语言,离 7000 种语言很远。
元宇宙离我们仍然有一段距离,不过 XLS-R 等技术作为 Meta 口中虚拟世界的基础建设之一,或许能在其他领域发挥作用,现在它已经发布了 XLS-R 预训练模型的微调教程,让业内人士可以基于它进行微调以便应用到具体的工作当中。
或许不久之后,我们能看到越来越多的应用支持更多语种的语音转译功能。
- 最新留言
-
- 内容很有深度!http://v8lf.desaypower.com.cn/
- 楼上的别说的那么悲观好吧!http://282.desaypower.com.cn/
- 有钱、有房、有车,人人都想!http://1wo.zoneby-ep.cn/
- 看帖回帖一条路!http://vp0.zoneby-ep.cn/
- 刚看见一个妹子,很漂亮!http://jzgz4.zoneby-ep.cn/
- 支持一下,下面的保持队形!http://3bi.net/post/2705.html/
- 感谢楼主的推荐!http://3bi.net/post/2705.html/
- 我只看看不说话。。。http://3bi.net/post/2705.html/
- 祖国尚未统一,我却天天灌水,好内疚!http://3bi.net/post/2705.html/
- 楼主说的我也略懂!http://kp1.xmhmzx.com.cn/
- 文章归档
-
- 2025年5月 (99)
- 2025年4月 (371)
- 2025年3月 (377)
- 2025年2月 (338)
- 2025年1月 (389)
- 2024年12月 (374)
- 2024年11月 (361)
- 2024年10月 (374)
- 2024年9月 (360)
- 2024年8月 (381)
- 2024年7月 (388)
- 2024年6月 (370)
- 2024年5月 (372)
- 2024年4月 (363)
- 2024年3月 (375)
- 2024年2月 (355)
- 2024年1月 (394)
- 2023年12月 (376)
- 2023年11月 (366)
- 2023年10月 (711)
- 2023年9月 (2758)
- 2023年8月 (2837)
- 2023年7月 (2637)
- 2023年6月 (2433)
- 2023年5月 (3416)
- 2023年4月 (3248)
- 2023年3月 (3478)
- 2023年2月 (3105)
- 2023年1月 (3491)
- 2022年12月 (3470)
- 2022年11月 (2403)
- 2022年10月 (2253)
- 2022年9月 (1263)
- 2022年8月 (1298)
- 2022年7月 (1495)
- 2022年6月 (1954)
- 2022年5月 (2930)
- 2022年4月 (2604)
- 2022年3月 (1050)
- 2022年1月 (2774)
- 2021年12月 (2199)
- 2021年11月 (2905)
- 2021年10月 (1319)
- 2021年9月 (1822)
Powered By Z-BlogPHP,Theme By 冀ICP备2022013555号,Copyright Your WebSite.Some Rights Reserved.