IndexTTS是B站基于XTTS和Tortoise開發的文本轉語音模型，具備工業級零樣本TTS能力。針對中文場景創新采用字符-拼音混合建模，可快速修正發音錯誤，結合Conformer條件編碼器與BigVGAN2解碼器，提升了訓練穩定性、音色還原度和輸出音質。

核心功能：

?支持中英雙語

?中文拼音糾錯：輸入拼音調整多音字發音（如"長"可指定"zhǎng"或"cháng"）

?標點停頓控制：通過標點符號控制語音停頓節奏

?音質增強：Conformer編碼器提取音色特征，BigVGAN2解碼器提升波形生成質量

?情感分離控制：獨立調節情緒表達與說話人音色

?精準時長控制：支持標記數設定或自回歸生成兩種模式

技術亮點：

?中文混合建模：輸入層兼容純文本/拼音混合輸入，自動預測未標注拼音，降低詞錯誤率

?Conformer編碼器：融合卷積與自注意力機制，強化音色韻律建模

?BigVGAN2解碼器：基于GAN架構的波形生成器，兼顧計算效率與音質表現

主要優勢：

? 多音字精準發音

? 自然停頓節奏

? 高保真音質

? 快速語音克隆

? 中英雙語支持

典型應用：

IndexTTS合成語音情緒自然飽滿，貼近真人， 廣泛適用于智能助手 | 有聲讀物 | 視頻配音 | 智能客服 | 教育工具等場景。

性能表現

?自然度和一致性：在自然度、內容一致性和零樣本語音克隆上，IndexTTS 比 XTTS 等現有模型有明顯改進。

?訓練和推理效率：訓練過程較簡單，推理速度更快，性能超過 Fish-Speech、CosyVoice2、FireRedTTS、F5-TTS 等主流開源 TTS 系統。

?代碼本利用率：對比矢量量化（VQ）和有限舒爾量化（FSQ），解決了代碼本塌陷問題，代碼本利用率接近 100%。

部署方式：

1. 克隆GitHub代碼庫

2. 安裝PyTorch等依賴

3. 準備并預處理音頻數據

4. 訓練或加載預訓練模型

5. 調參生成音頻文件

項目地址：https://github.com/index-tts/index-tts