一句话定义

端侧语音合成(On-device TTS) 指把文字转成语音的整个过程在设备本地完成:文本不出设备,音频不经过网络回传,播报的延迟只取决于本机算力。

它和「云端合成」不是同一件事的两种实现,两者的成本结构完全不同:云端按调用次数计费、延迟随网络抖动;本地一次性占用存储和 CPU,之后播多少次都是零边际成本。

它解决什么问题

门店里需要出声的地方比想象中多:称重台的「请将商品放在秤台上」、自助收银的扫码引导、排队叫号、后厨叫单、打烊前的提醒、导购屏的商品介绍。

这些场景有三个共性,正好是云端合成的软肋:

  • 断网就哑。 门店网络断掉时,收银还能离线记账,播报却没了,收银员只能靠喊。
  • 首字延迟不可控。 云端合成要走「上传文本—排队—合成—下载音频」,高峰期抖动直接变成顾客面前的空白。自助设备上超过一秒的静默,人就开始重复操作。
  • 播报内容含敏感信息。 会员姓氏、消费金额、商品名称,逐条发到外部服务,等于把门店的经营细节按句泄露出去。

关键做法

  • 把固定话术和变量分开。 「请刷卡」这类固定句子可以提前生成音频文件缓存,播放时直接播,不占推理算力;只有金额、商品名这部分变量才需要实时合成。真实门店里绝大多数播报属于前者,这一刀切下去,CPU 压力能降一个量级。
  • 流式合成,按小段出声。 把整句切成短片段,合成一段播一段,首字延迟取决于第一小段而不是整句。这是 CPU 上做出「即时」观感的主要手段,代价是切分处的韵律不如整句自然。
  • 声码器往往是真正的瓶颈。 把声学特征变成波形的那一级通常比前面的模型更吃算力,量化、换轻量声码器、降采样率是常见的三档取舍。
  • 音色克隆是资产,不是配置。 克隆某位员工或主播的音色,需要明确授权、约定期限,并且要能真正删掉——模型文件里带的是这个人的声纹特征,删不干净就是长期风险。

用不上的时候

  • 播报量很小。 一天几十句的店,本地模型的存储和适配成本远高于云端按次调用。
  • 对音质要求高于实时性。 广告配音、品牌人声、宣传片这类内容,云端大模型的质量优势明显,也不需要即时。
  • 需要长尾语种和多音色。 端侧模型体积受限,覆盖面上打不过云端,小语种尤其如此。
  • 店里本来就很吵。 环境噪声大的场所,音质的边际收益很低,把预算花在功放和喇叭位置上的效果更直接。

参考

  • GitHub pnnbao97/VieNeu-TTS(https://github.com/pnnbao97/VieNeu-TTS):越南语的端侧语音合成项目,主打即时声音克隆、CPU 实时推理与 48kHz 输出,是一个「本地实时合成」形态的公开实现样例。

延伸阅读

相关词条


火眼识别提供端侧视觉引擎与设备管理平台,相关方案见 火眼识别官网。