继ChatTTS之后，字节跳动团队提出了一种名为Seed-TTS的新型语音生成模型。Seed-TTS基于自回归Transformer架构，能够生成听起来非常自然且富有表现力的语音，其质量与人类语音极为接近，难以区分。
演示视频
该模型在多个方面表现出色，特别是在情感控制、小说配音和跨语言内容创作等方面。Seed-TTS模型通过自我蒸馏和强化学习技术，提升了其发音的自然性和可控性。此外，研究团队还提出了该模型的非自回归变体，进一步增强了模型的性能。
Seed-TTS的推理过程包括四个主要步骤:
语音分词器:学习并理解参考语音中的各个音素或音标。
自回归语言模型:根据输入的文本和已有的语音信息生成语音标记。
扩散变换器:采用分层方法生成连续的语音表示，为语音合成提供中间特征。
声学波形合成器:从扩散变换器的输出生成更高质量的语音波形。
Seed-TTS在多种语音特征的可控性上展现出优越性能，并且在不同语言的语音生成任务中也有良好的表现。它在零样本（zero-shot）语境学习、发音调整和情感控制方面具有广泛的应用潜力。
总体而言，Seed-TTS模型在语音合成领域带来了显著的进展，为创造更自然、更可控的语音合成技术开辟了新的道路。这项技术的突破预示着未来在提高语音合成自然度和表现力方面将会有更多的可能性和创新应用。
项目页：https://top.aibase.com/tool/seed-tts