HMS Core 机器学习服务打造同传翻译新“声”态

华为模组
2022年6月，HMS Core机器学习服务面向开发者提供一项全新的开放能力——同声传译，通过AI语音技术减少资源成本，加强沟通交流，旨在帮助开发者制作丰富多样的同声传译应用。



HMS Core同声传译涵盖了机器学习服务的语音识别、翻译、语音合成等核心技术，首先把输入的实时语音转换成文字，然后再把文字翻译成另一种语言的文字，最 后把翻译后的文字转换成语音播放。同声传译能力能够协助解决多种场景下的跨语言实时交流，支持中英文互译，提供多种音色语音播报，可以广泛应用于领域多样、环境复杂、实时性高的会议、直播等场景。

语音识别+机器翻译，兼具质量与效率
对于同声传译而言，准确的源语言输入+译文输出是其重要的衡量标准。而在面对同声传译主要的场景——大会演讲、字幕直播、会议访谈、智慧教育……往往伴随长时间持续输入的音频，端侧识别通过语音能量检测、静音检测、心跳检测等算法，实现长音频的有效断句，从而将有效语音片段送到语音识别模块，提升了语音识别的效率，同时缩小了同声传译时延，降低噪声对识别效果的影响。

另一方面，在语音转成文本后，存在部分识别错误、口语化表达、语气词较多、部分内容重复表达等导致文本不流利以及识别文本并未进行细致断句的问题。针对这些状况，机器学习服务在文本处理模块采用NLP语义理解、同音歧义处理、环境声音处理、口语化处理等纠错技术，来实现文本顺滑、自动断句等功能，确保返回高质量的翻译文本，从而实现语音识别和翻译功能加强，提升同声传译效果。

多种场景全覆盖，中英字幕双语输出  
同声传译既能应用在面对面跨语言交流场景，也能在远程沟通中发挥作用。无论是面对面多语种会议、远程会议、还是观看外语视频，同声传译能力可以实时生成双语字幕，降低理解成本，提升工作与学习效率。

定制化语音播报，边听边看两不误
同声传译能力通过先进的深度神经合成技术，能够实时输出音频流数据，同时提供多种中、英文男、女音色可选，调节）从而使发音达到更加真实自然的效果。通过实时语音播报降低延迟，结合实时字幕内容，为参会者提供视听一体的沉浸式同声传译体验。

通过对语音识别、机器翻译、语音合成三项技术的有机整合，HMS Core机器学习服务为开发者提供较低时延、较高准确率的同声传译能力，帮助用户更顺畅地进行国际交流，打造同声传译新“声”态。