MOSS-TTS 折腾记录

前言

RTX4060 8G，除了生图，视频就不奢望了。想搞一点配置要求低的事情，TTS觉得可以。选了MOSS-TTS，结果这玩意儿比预想要求高太多了，折腾了一下，记录一下。

直接尝试

直接就爆显存了。一查网上12G，22G都有爆显存的。

GGUF量化

看项目中支持GUFF量化，改用MOSS-TTS-Delay: llama.cpp再次尝试。

guff下载

根据README下载预量化的 GGUF + embeddings + lm_heads，好家伙，37GB，而且我只用MOSS_TTS_Q4_K_M.gguf，其他下载也是浪费啊。手动下载了 MOSS_TTS_Q4_K_M.gguf，然后用hf download OpenMOSS-Team/MOSS-TTS-GGUF --local-dir weights/MOSS-TTS-GGUF --exclude "*.gguf"下载了其他文件。

尝试运行

一开始用default配置，各种问题。退到cpu-only配置。根据configs/llama_cpp/cpu-only.yaml，完美可以生成语音。

继续default配置，但是不安装onnxruntime-gpu，也是完美可以生成语音。

尝试启用GPU

接着装上onnxruntime-gpu，再运行default配置，又开始报错了

ImportError: libcudart.so.13: cannot open shared object file: No such file or directory

安装uv pip install nvidia-cuda-runtime nvidia-cublas ，并设置LD_LIBRARY_PATH LD_LIBRARY_PATH=./.venv/lib/python3.13/site-packages/nvidia/cu13/lib/:./.venv/lib/python3.13/site-packages/tensorrt_libs/:$LD_LIBRARY_PATH

接着报错

Failed to load library .venv/lib/python3.13/site-packages/onnxruntime/capi/libonnxruntime_providers_cuda.so with error: libcurand.so.10: cannot open shared object file : No such file or directory
Failed to load library .venv/lib/python3.13/site-packages/onnxruntime/capi/libonnxruntime_providers_tensorrt.so with error: libnvinfer.so.10: cannot open shared ob ject file: No such file or directory

安装uv pip install tensorrt cuda-python，结果libnvinfer.so.10还是找不到，查看tensorrt_libs ./.venv/lib/python3.13/site-packages/tensorrt_libs/libnvinfer.so.11

尝试安装旧版 uv pip install 'tensorrt<11'，有libnvinfer.so.10了。但是报别的错误

error: libcudnn.so.9: cannot open shared object file: No such file or directory
error: libcurand.so.10: cannot open shared object file: No such file or directory

修改配置use_gpu_audio: false 后暂时可以跑。

接着补全 uv pip install nvidia-cudnn-cu12 uv pip install nvidia-cuda-nvrtc-cu12 nvidia-curand-cu12

并设置LD_LIBRARY_PATH LD_LIBRARY_PATH=./.venv/lib/python3.13/site-packages/nvidia/cu13/lib/:./.venv/lib/python3.13/site-packages/tensorrt_libs/:./.venv/lib/python3.13/site-packages/nvidia/curand/lib/:./.venv/lib/python3.13/site-packages/nvidia/cudnn/lib/:$LD_LIBRARY_PATH

又有新错误

error: libcufft.so.12: cannot open shared object file: No such file or directory

uv pip install nvidia-cufft 补上

不报错了，但是怎么调都是CPU在跑，根据AI提示重新编译llama.cpp

cmake -B build -DGGML_CUDA=ON && cmake --build build --config Release -j

提示Could not find nvcc, please set CUDAToolkit_ROOT. 去 https://developer.nvidia.com/cuda-downloads 下载安装CUDA Toolkit。

CUDACXX=/usr/local/cuda/bin/nvcc cmake -B build -DGGML_CUDA=ON && cmake --build build --config Release -j

编译成功。

配置修改

最终修改了default配置

n_threads: 6
n_grpu_layers: 16
use_gpu_audio: false

kv_cache_type_k: q8_0
kv_cache_type_v: q8_0

指定reference

使用--reference file.wav 指定参考音频，生成的音频更接近参考音频。

最后修改于 2026-07-21