|
|
|
|
@ -16,19 +16,19 @@
|
|
|
|
|
|
|
|
|
|
### 2. 准备配置文件
|
|
|
|
|
配置文件可参见 `conf/tts_online_application.yaml` 。
|
|
|
|
|
- `protocol`表示该流式TTS服务使用的网络协议，目前支持 http 和 websocket 两种。
|
|
|
|
|
- `engine_list`表示即将启动的服务将会包含的语音引擎，格式为 <语音任务>_<引擎类型>。
|
|
|
|
|
-- 该demo主要介绍流式语音合成服务，因此语音任务应设置为tts。
|
|
|
|
|
-- 目前引擎类型支持两种形式：**online** 表示使用python进行动态图推理的引擎；**online-onnx** 表示使用onnxruntime进行推理的引擎。其中，online-onnx的推理速度更快。
|
|
|
|
|
- 流式TTS的AM 模型支持：fastspeech2 以及fastspeech2_cnndecoder; Voc 模型支持：hifigan, mb_melgan
|
|
|
|
|
- 流式am推理中，每次会对一个chunk的数据进行推理以达到流式的效果。其中`am_block`表示chunk中的有效帧数，`am_pad` 表示一个chunk中am_block前后各加的帧数。am_pad的存在用于消除流式推理产生的误差，避免由流式推理对合成音频质量的影响。
|
|
|
|
|
-- fastspeech2不支持流式am推理，am_pad与am_block对它无效
|
|
|
|
|
-- fastspeech2_cnndecoder 支持流式推理，当am_pad=12时，流式推理合成音频与非流式合成音频一致
|
|
|
|
|
- 流式voc推理中，每次会对一个chunk的数据进行推理以达到流式的效果。其中`voc_block`表示chunk中的有效帧数，`voc_pad` 表示一个chunk中voc_block前后各加的帧数。voc_pad的存在用于消除流式推理产生的误差，避免由流式推理对合成音频质量的影响。
|
|
|
|
|
-- hifigan, mb_melgan 均支持流式voc 推理
|
|
|
|
|
-- 当voc模型为mb_melgan，当voc_pad=14时，流式推理合成音频与非流式合成音频一致；voc_pad最小可以设置为7，合成音频听感上没有异常，若voc_pad小于7，合成音频听感上存在异常。
|
|
|
|
|
-- 当voc模型为hifigan，当voc_pad=20时，流式推理合成音频与非流式合成音频一致；当voc_pad=14时，合成音频听感上没有异常。
|
|
|
|
|
- 推理速度：mb_melgan > hifigan; 音频质量：mb_melgan < hifigan
|
|
|
|
|
* `protocol`表示该流式TTS服务使用的网络协议，目前支持 http 和 websocket 两种。
|
|
|
|
|
* `engine_list`表示即将启动的服务将会包含的语音引擎，格式为 <语音任务>_<引擎类型>。
|
|
|
|
|
** 该demo主要介绍流式语音合成服务，因此语音任务应设置为tts。
|
|
|
|
|
** 目前引擎类型支持两种形式：**online** 表示使用python进行动态图推理的引擎；**online-onnx** 表示使用onnxruntime进行推理的引擎。其中，online-onnx的推理速度更快。
|
|
|
|
|
* 流式TTS的AM 模型支持：fastspeech2 以及fastspeech2_cnndecoder; Voc 模型支持：hifigan, mb_melgan
|
|
|
|
|
* 流式am推理中，每次会对一个chunk的数据进行推理以达到流式的效果。其中`am_block`表示chunk中的有效帧数，`am_pad` 表示一个chunk中am_block前后各加的帧数。am_pad的存在用于消除流式推理产生的误差，避免由流式推理对合成音频质量的影响。
|
|
|
|
|
** fastspeech2不支持流式am推理，am_pad与am_block对它无效
|
|
|
|
|
** fastspeech2_cnndecoder 支持流式推理，当am_pad=12时，流式推理合成音频与非流式合成音频一致
|
|
|
|
|
* 流式voc推理中，每次会对一个chunk的数据进行推理以达到流式的效果。其中`voc_block`表示chunk中的有效帧数，`voc_pad` 表示一个chunk中voc_block前后各加的帧数。voc_pad的存在用于消除流式推理产生的误差，避免由流式推理对合成音频质量的影响。
|
|
|
|
|
** hifigan, mb_melgan 均支持流式voc 推理
|
|
|
|
|
** 当voc模型为mb_melgan，当voc_pad=14时，流式推理合成音频与非流式合成音频一致；voc_pad最小可以设置为7，合成音频听感上没有异常，若voc_pad小于7，合成音频听感上存在异常。
|
|
|
|
|
** 当voc模型为hifigan，当voc_pad=20时，流式推理合成音频与非流式合成音频一致；当voc_pad=14时，合成音频听感上没有异常。
|
|
|
|
|
* 推理速度：mb_melgan > hifigan; 音频质量：mb_melgan < hifigan
|
|
|
|
|
|
|
|
|
|
### 3. 服务端使用方法
|
|
|
|
|
- 命令行 (推荐使用)
|
|
|
|
|
|
liangym
2 years ago
committed by
GitHub