nihility-gsv

基于：gpt_sovits_rs重写，非常感谢这个库作者们的工作

使用tch在rust推理GPT-SoVITS模型，目前只支持cpu推理，13代i7可以实现rtf < 0.5

说明：

• 这个库是作为助手项目的语言合成模块设计的，程序的运行环境初始化不会集成在这个项目构建结果中。可以使用仓库中自动安装脚本进行安装。

• 目前只支持v2ProPlus，其他版本暂未导出。可以通过官方提供的导出脚本自行导出。

• 导出时注意选择device为CPU，如果需要支持cuda，需要自行下载cuda版本的libtorch

使用方法

安装

Linux系统

curl -fsSL https://raw.githubusercontent.com/nihilityer/nihility-gsv/refs/heads/main/install.sh | bash

windows系统

1. 下载一键安装脚本到需要安装的目录（自动下载文件较多，请注意不要直接放在桌面）：下载地址
2. 双击执行

命令行推理

注：所有推理结果都在output目录下，根据生成完成的时间来设置文件名（默认生成在：output）

Linux系统

./nihility-gsv-cli -t '心有所向，日复一日，必有精进。'

windows系统

文件管理器中打开安装目录，在地址栏中输入cmd打开命令提示符，然后输入命令：

也支持直接双击执行

nihility-gsv-cli.exe -t 心有所向，日复一日，必有精进。

Api服务器

Linux系统

./nihility-gsv-api

Windows系统

双击nihility-gsv-api.exe执行

配置

有关gsv核心的模型配置文件默认为：config/nihility-gsv.toml，支持Json格式配置。

Api服务器相关配置文件默认为：config/nihility-gsv-api.toml，支持Json格式配置。

导出新的模型

在GPT-SoVITS中训练好对应模型，使用官方导出脚本导出：

python GPT_SoVITS/export_torch_script.py --gpt_model GPT_weights_v2ProPlus/xxx-e15.ckpt --sovits_model SoVITS_weights_v2ProPlus/xxx_e8_s248.pth --ref_audio ref/ref.wav --ref_text xxx --output_path export --device cpu --version v2ProPlus --no-half

1. 将导出的gpt_sovits_model.pt重命名为model.pt；
2. 将导出时使用的参考音频重命名为ref.wav；
3. 导出时使用的参考音频对应文本保存到ref.txt文件中；
4. 将以上三个文件放在model目录下一个新目录中，目录名称随意；
5. 修改配置文件config/nihility-gsv.toml中selected_model的值为新创建的目录名称。

TODO

• API调用
• 流式推理
• 更多的模型推理方式选择
• 更高性能的模型推理
• 更多的模型支持