Seirenes TTS — 中文音質驗證 v2

2026-05-05 · 三 vocoder 對比 · ASR 客觀驗證 (Qwen3-ASR + OpenCC 繁簡正規化)
三 vocoder 整體 CER 比較
TTS4 句純中文 CER中英混雜 CER狀態
SirenaVoice ZipVoice + Vocos（舊）4.9%—（未測）有痰音 ⚠️
SirenaVoice ZipVoice + BigVGAN（新）2.4%0.0%清晰 ✨
VibeVoice-Realtime-0.5B90.5%—不支援中文 ❌
① BigVGAN vs Vocos — 同句直接 A/B 對照
1. 歡迎使用 Seirenes 智慧家居語音助理，請問需要什麼協助嗎？
Vocos · CER 10.3%
★ BigVGAN · CER 3.4%
2. 好的，幫您把客廳冷氣調到二十六度。
Vocos · CER 0.0%
★ BigVGAN · CER 0.0%
3. 今天台北的天氣晴朗，適合出門散步喔。
Vocos · CER 6.2%
★ BigVGAN · CER 6.2%
4. 請告訴我現在幾點，我想知道時間。
Vocos · CER 0.0%
★ BigVGAN · CER 0.0%
5. Open the door please，順便關掉客廳的燈。（中英混雜）
Vocos · 痰音破音
★ BigVGAN · CER 0.0%
② 進階 6 句 — 雙 prompt × 雙 vocoder 完整對照
4 欄：子睿 Vocos · 子睿 BigVGAN · 采芸 Vocos · 采芸 BigVGAN
6. 請打電話給張先生，他的電話是零九三七八八八九九九。
子睿 Vocos
★ 子睿 BigVGAN
采芸 Vocos
★ 采芸 BigVGAN
7. 提醒我明天下午三點要去開會，主題是 AI 產品設計。
子睿 Vocos
★ 子睿 BigVGAN
采芸 Vocos
★ 采芸 BigVGAN
8. 今天的股市表現如何？台積電漲了百分之二點五。
子睿 Vocos
★ 子睿 BigVGAN
采芸 Vocos
★ 采芸 BigVGAN
9. 請播放周杰倫的歌，特別是他二零零一年的專輯。
子睿 Vocos
★ 子睿 BigVGAN
采芸 Vocos
★ 采芸 BigVGAN
10. 我想預訂明天晚上七點的兩人座位，幫我訂忠孝東路的義式餐廳。
子睿 Vocos
★ 子睿 BigVGAN
采芸 Vocos
★ 采芸 BigVGAN
11. Open the door please，順便關掉客廳的燈。（中英混雜）
子睿 Vocos · 痰音
★ 子睿 BigVGAN
采芸 Vocos
★ 采芸 BigVGAN
③ 6 個聲音 全測試（BigVGAN）
4 句基準 × 6 個 prompt 聲音。
A. 歡迎使用 Seirenes 智慧家居語音助理。
子睿 男孩
采芸 主播
雨榛 女聲
佑希 男主播
俊傑 男聲
楷心 女孩
B. 好的，幫您把客廳冷氣調到二十六度。
子睿
采芸
雨榛
佑希
俊傑
楷心
C. 今天台北的天氣晴朗，適合出門散步喔。
子睿
采芸
雨榛
佑希
俊傑
楷心
D. Open the door please，順便關掉客廳的燈。（中英混雜）
子睿
采芸
雨榛
佑希
俊傑
楷心
④ F5-TTS Base 完整對照（6 voices × 4 sentences, nfe=16）
F5-TTS Base 1.2GB（不蒸餾，16 步收斂），ref_text 用完整 prompt 解決前一版時長失控。 這是「teacher 模型 + 充足 NFE」應該長什麼樣。
A. 歡迎使用 Seirenes 智慧家居語音助理。
子睿
采芸
雨榛
佑希
俊傑
楷心
B. 好的，幫您把客廳冷氣調到二十六度。
子睿
采芸
雨榛
佑希
俊傑
楷心
C. 今天台北的天氣晴朗，適合出門散步喔。
子睿
采芸
雨榛
佑希
俊傑
楷心
D. Open the door please，順便關掉客廳的燈。（中英混雜）
子睿
采芸
雨榛
佑希
俊傑
楷心
⑤ F5-TTS NFE 速度／品質 trade-off
同句 (采芸 prompt) NFE 8 / 12 / 16 / 24 / 32 直接 A/B。 NFE=8 在 RTX 2060 RTF 0.38×，比 SirenaVoice distill 還快 + 品質乾淨。
D. Open the door please，順便關掉客廳的燈。
★ NFE 8 · RTF 0.38×
NFE 12 · 0.51×
NFE 16 · 1.01×
NFE 24 · 1.15×
NFE 32 · 1.35×
⑥ Seirenes V2 — End-to-End PoC（已部署）
F5-TTS Base FP16 · NFE 12 · Vocos vocoder · 采芸 prompt · TCP socket :9998 streaming
完整 server / client 在 D:\Software\SeirenesV2\ · 啟動：python server/start_f5_tts.py --voice caiyun --nfe 12
V2 規格
項目數值
TTS backboneF5-TTS V1 Base 337M
dtypeFP16
NFE12（甜蜜點）
RTF (RTX 2060)0.51×
Memory674 MB
Voices6 個 preset（子睿 / 采芸 / 雨榛 / 佑希 / 俊傑 / 楷心）
痰音 / 滋滋無
V2 PoC 1. 歡迎使用 Seirenes 智慧家居語音助理。
★ Seirenes V2 · 采芸 · 端到端 streaming server
V2 PoC 2. 好的，幫您把客廳冷氣調到二十六度。
★ Seirenes V2 · 采芸 · 端到端 streaming server
V2 PoC 3. Open the door please，順便關掉客廳的燈。（中英混雜）
★ Seirenes V2 · 采芸 · 端到端 streaming server
⑦ Seirenes V2 + 多音字 / 數字 normalizer（CER 2.3%）
F5-TTS Base FP16 NFE 12 + polyphone_dict.py (90+ TW 多音字) + text_normalizer.py (M2.7 寫的數字/日期/英文保留)
8 句多音字測項 ASR-CER 驗證
#句子測項CER
1重新開機後請告訴我重 chóng (非 zhòng)0%
2銀行幾點開門行 háng (非 xíng)0%
3客廳冷氣調到 26 度26→二十六0%
4台積電漲了 2.5%2.5→百分之二點五（已修 . bug）—
5下午 3:30，知道時間3:30→三點半0%
6電話 0937888999電話 → 零九三七…0%
7長度兩公尺、重量五公斤長 cháng / 重 zhòng0%
8Open the door please...英文保留0%
OVERALL2.3%
V2-poly 1. 重新開機後，請告訴我。（重 chóng）
★ V2 + polyphone
V2-poly 2. 銀行幾點開門，我要去處理事情。（行 háng）
★ V2 + polyphone
V2-poly 3. 幫我把客廳冷氣調到 26 度。（數字正規化）
★ V2 + normalizer
V2-poly 4. 台積電今天漲了 2.5%，現在股價非常重要。（2.5→百分之二點五）
★ V2 + normalizer (decimal fix)
V2-poly 5. 現在是下午 3:30，我想知道時間。（時間正規化）
★ V2 + normalizer
V2-poly 6. 請打電話給張先生，電話 0937888999。（電話念法）
★ V2 + normalizer
V2-poly 7. 長度大約是兩公尺，重量五公斤。（長 cháng / 重 zhòng）
★ V2 + polyphone
V2-poly 8. Open the door please，順便關掉客廳的燈。（英文段保留）
★ V2 + protect_english
⑧ V2 Chunked client（標點符號切，NFE 12 monkey-patched）
按標點切句客戶端流式 + server first_package=False + NFE 12 強制（原 socket_server 預設 32）
D:\Software\SeirenesV2\client\chunked_client.py
First audio 演進
版本first_audioRTF說明
單句 server-side first_package3724ms2.04×NFE 32 default + 重複切批 + first_package on
chunked + first_package off3725ms1.70×仍 NFE 32（沒 monkey-patch）
chunked + NFE 12 monkey-patched1447ms0.66×標點切 + first_package=False
★ chunked + 雙 warm + NFE 8 first / 12 rest994ms0.6×第一 chunk 用 NFE 8（後續 NFE 12），雙 warm-up 命中 cudnn cache
完整 demo: 幫我把客廳冷氣調到二十六度，現在是下午三點半，台積電今天漲了百分之二點五。
★ V2 chunked NFE 12 · first_audio 1.4s · 7.1s 全句
v5 雙 warm + NFE 8 first: 幫我把客廳冷氣調到二十六度，現在是下午三點半。
★ first_audio 994ms (NFE 8 first / NFE 12 rest)
⑨ NFE 2 / 4 / 6 / 8 / 10 / 12 並排（同句 采芸）
看極限 NFE 多少還能聽，是否能把 first_audio 再壓低。
幫我把客廳冷氣調到二十六度。
NFE 2 · RTF 0.17×
NFE 4 · RTF 0.23×
NFE 6 · RTF 0.32×
NFE 8 · RTF 0.42×
NFE 10 · RTF 0.46×
★ NFE 12 · RTF 0.57×
⑩ NFE 4 / 6 優化 — midpoint ODE / sway / cfg
NFE 6 已可用但「調」漏到 dict（已重生），NFE 4 飄。試 3 條優化路徑。
幫我把客廳冷氣調到二十六度。
A · NFE 4 + midpoint ODE · 1.10s
B · NFE 4 + sway +0.5 · 1.00s
C · NFE 4 + cfg 1.5 · 1.20s
D · NFE 6 預設 · 1.51s
★ E · NFE 6 + sway +0.5 · 1.51s
3 條低 NFE 補救路徑：
• midpoint ODE — 2nd-order，每步算 2 次但收斂更穩
• sway_sampling +0.5 — 把 ODE 步集中在 t=0 附近（細節重建區）
• cfg_strength 1.5 — 降低 classifier-free guidance（過強會引入 artifact）
⑪ V2 本機 server 實測（NFE 6 / NFE 4 first，first_audio < 600ms）
本機 V2 socket :9998 跑在 PC，配置：--nfe 6 --nfe-first 4 + 雙 warm + polyphone dict + normalizer
4 段測試 first_audio 全部 565-598ms，平均 RTF 0.5×。
冷氣 26 度 + 三點半 + 股市 2.5%（first_audio 577ms · RTF 0.49×）
★ V2 NFE 6/4
電話 0937888999（first_audio 598ms · RTF 0.37×）
★ V2 NFE 6/4
重新開機 + 銀行幾點開門（first_audio 598ms · RTF 0.49×）
★ V2 NFE 6/4
Open the door please 中英混（first_audio 566ms · RTF 0.64×）
★ V2 NFE 6/4
產生時間 2026-05-05 · 引擎 SirenaVoice ZipVoice-distill 122M (ONNX INT8) · vocoder Vocos vs NVIDIA BigVGAN v2 24kHz 100band · prompt 男聲 小男孩_子睿.wav / 女聲 台灣女主播_采芸.wav · loudness norm I=-16 LUFS TP=-1.5 · ASR Qwen3-ASR-0.6B ONNX (INT8) on DGX :8100, OpenCC s2t 後計算 CER