DiffSinger使用教程 介绍 下载 （随时可能要过期版）（一）

admin

*本教程默认使用由OpenVPI团队维护的仓库
% @8 O" B. b9 U& [7 M4 z" ^
4 {5 |8 S) x) BGithub： https://github.com/openvpi/DiffSinger/tree/refactor

*本教程参考了@深夜诗人 为Diff-SVC和SOVITS写的教程

https://www.yuque.com/jiuwei-nui3d/qng6eg
: C0 @; @9 l( f0 t8 q% H" O, a
*受限于编辑次数，最新请访问
5 X" Q1 l6 Z; }% }2 n1 ~
+ P, g; N6 V" K! z- B2 Z! Bhttps://www.yuque.com/sunsa-i3ayc/sivu7h
/ S7 _8 [# U: L# ]5 W
Part 1.设备准备
2 O0 }8 f/ f/ O+ e一、硬件要求

# @+ o3 I2 R) l: a: o3 D模型分为数据集处理、模型训练、模型推理三部分
) I& ]" {) j: `( B( V
*由于标注还在高速迭代中，暂不提供数据集处理部分内容，本教程默认使用OpenCPop数据集（出于协议原因需要自行到https://wenet.org.cn/opencpop/申请）
( v3 {5 X6 c0 I5 ~/ h& u


6 o% g, ]. z' f1.模型训练：

要求6G以上显存的显卡（需要修改参数，不建议），常用服务器的V100（32G显存）、A100（40G或80G显存）等（Colab或自行找平台租用）
) |; j7 _& [7 K6 B9 K+ O: ~$ {
Q：xxx平台能不能用？

" b3 E# `* S8 x) lA：GitHub的代码一般Linux平台可用，训练不建议使用Windows
/ h/ a5 @( J* G+ H
: D! J3 C" N6 o- ]8 O6 D+ M, E2.模型推理：
+ K0 L0 x+ ~* I- h) f% a: K) V
" n+ \, Q+ l$ U. a* B/ o2 y实时速度指电脑每秒可以使用模型处理n秒的音频，如4分钟音频耗时1分钟处理完毕，实时速度为4x

/ c2 t  l# p4 N加速推理为（部分！！！）模型自带功能，同硬件下牺牲音质，提高推理速度

8 G! u( W2 y8 L) I以i5-8300H为例，CPU的实时速度约0.1-0.5x，3分钟歌曲转换耗时5-30min不等
3 A% D* g5 K: [: s# N# j% x
以1060-6G为例，GPU的实时速度约1-10x（取决于不同模型和加速设置），3分钟歌曲耗时30s-5min

- {$ C: l( Q% Q* @: p" _6 I8 S因此推荐非NVIDIA显卡或显卡性能较差用户使用Colab进行推理（需要能正常访问Google）
8 H' B: j7 h) F8 Y6 v& @' M. w* b
& o, Q3 x0 }9 h, bhttps://colab.research.google.com/drive/121Bb5yos7O05kqs-gwOZAB8-UMBVy0hN
! R& R% \& _& k
& ~# z! @1 p) Z
: J' K" P5 q) y) U& |0 j7 g, ^3 H
/ l) e; v3 W7 D2 ~Part 2.环境前期准备
*教程只在Windows 11 22H2下Python 3.8环境进行了测试，用于Windows系统下本地推理。

一、Anaconda安装（你也可以使用自己喜欢的其他程序）

清华源：https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/?C=M&O=D
' P/ |4 Y/ `3 O2 m7 b
/ H5 _8 o' s0 D（目前访问可能下载较为缓慢）

: F) [( n2 R5 ~; F$ U/ ^, D1.下载Windows64版Anaconda


* b" t2 @( ?( K* w& I2 u, N! l
0 B. \5 [& b  ?$ v0 mAnaconda下载
5 I  ^' V) N, J6 V: c2.默认安装在C盘即可

) @# H6 n1 s/ D3 _$ A安装时记得勾选：
# ]# r1 r3 j( z; t% @4 S; z
& e9 v4 j8 S1 d8 a9 f" J0 |把Anaconda加入系统环境变量。
- f! |* `- d/ N. R- J6 _- Q把Anaconda加入系统环境变量。

3.在开始菜单找到Anaconda的命令行打开
5 M# W: X; h% ?# ~, w
在开始菜单找到Anaconda的命令行打开
命令行
+ q0 b. s% j7 z" M1 ?9 C二、Anaconda的换源

1.在命令行界面输入：

conda config --set show_channel_urls yes
; W& L7 J) U/ m, p6 z
* z: h$ V( n1 s1 K. u* A9 g, Q" b按下回车键

  w) p% L. r- c1 X; U' q) J2.接下来打开我的电脑
+ d. d* V3 I6 {% j% A2 S
进入C盘\用户\你的用户名文件夹，也就是C:\Users\xxx
4 ^. d. Y8 O: N' o; t2 Z
$ J; X% O- H5 _& W" o% axxx是你的用户名

3.找到名为：.condarc的文件
! ^  _$ B3 t7 L4 i: @' v
6 S" e+ n0 t8 @" l0 w; q$ W% A用记事本打开
  e+ i4 i% R. E4 M/ d
2 s# ]. _, o( [; b4.删除里面原本的内容
) m  l- f; u) T" R% ~. i1 E  f5 W
将以下内容复制粘贴到里面点击保存

channels:
. E. ^% a) Y# G; f
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
! O; v  k1 q) B- d: p; `
( @3 e- S5 u5 H+ H- https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/menpo/

. P' ^( _# N3 n7 s  z- https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/bioconda/
- J1 X; ~: Q9 A& K& ?* L
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/msys2/
& b4 o" j( \: P8 y8 C
4 p- b- @  s! e' l- https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/

7 P+ l$ v: S5 b% Z% E, U- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/

- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
5 p6 r- v* C) `7 z. D0 t0 g
- defaults

show_channel_urls: true

default_channels:
# I- E" P. \7 V6 {9 O( d/ ~
; X/ C7 E$ Q4 x# k* A' j8 c& D- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
6 Z, m0 O7 X% M" I
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r
3 L. A, L+ w: w# Z1 L. ^7 P# L0 P
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2

custom_channels:

conda-forge: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
, z1 h( Z4 s: Y' J
msys2: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud

bioconda: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
" M$ N! w5 x& I: [  @9 e; S/ k
menpo: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
; ~8 W- K1 _7 y: f& C/ k( g. d
( K  j% d, H2 d8 U7 u! a7 Xpytorch: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
& K. Y- y8 s' V6 z  V
6 I5 w& H' g5 I; A/ O' g8 gpytorch-lts: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
: A5 J% {" F# F2 r' \5 b
simpleitk: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
2 p  K. D. I. }' z$ _+ p9 j
% Q7 l2 [& B1 F; v) e  r! W
就像下图这样：

如图
, e* Z: ]6 l$ C三、Conda换豆瓣源（如果清华源过慢可以尝试逐条输入并回车）

conda config --set show_channel_urls yes
+ e4 I2 ~: A+ c) n& z! `/ U  Z2 N2 j
' ~. `" }2 E) X, B+ m$ c# Gconda config --remove-key channels

3 D' c/ v# W2 ?  {0 y+ D, nconda config --add channels https://pypi.douban.com/anaconda/cloud/conda-forge/
% T$ G( Y- G5 ?" D
conda config --add channels https://pypi.douban.com/anaconda/cloud/msys2/

- [7 h- f0 x* f2 }; _3 f+ Vconda config --add channels https://pypi.douban.com/anaconda/cloud/bioconda/
0 f% h# H9 v# U" e+ v, T
: w+ {# A1 Y+ [! @4 uconda config --add channels https://pypi.douban.com/anaconda/cloud/menpo/

+ w0 z$ k/ @' u9 N2 Tconda config --add channels https://pypi.douban.com/anaconda/cloud/pytorch/
. s' ^  @$ i9 i2 _
1 w$ {8 }/ m, u. }+ ~
Part 3.推理环境配置
为了避免和其他项目产生依赖冲突，我们需要为DiffSinger项目创建一个虚拟环境，该虚拟环境通用于接下来所有DiffSinger相关教程。

) p% @7 i- W. F1 s: K一、创建个Python 3.8的虚拟环境
; F: f% j: H7 X' l+ e/ q
1.输入：

8 D0 S& \3 u& b5 Oconda create -n diffsinger python=3.8
/ s1 ?$ ^4 E4 I" ]0 X
2 d6 W$ b% _# |3 b: j) j  |$ S按下回车键 ，diffsinger是虚拟环境的名字可以换成任何英文和拼音名，只要你记得住就行。


等待conda查找所需组件，完毕后会显示下图内容
7 e+ [/ M+ ~, R" j0 R, o
# U4 q& o/ ~, |# R9 Q% ]
输入：
) u2 p. j  e  t& Z! s" }
y

1 m& N: Y) b9 L按回车键开始安装，等待下载和安装完成
' a# V* F3 K$ r  s# t. x



输入：
& k9 j: z0 ~( g$ i2 ~4 _9 N- y
3 t7 E9 L% O! H3 p# q$ A# ^activate diffsinger
% {& ]' L  _, S8 V8 y& }
4 g/ j% U7 p) z: X# N% o! ?. @8 a7 u8 _回车，切换到刚刚创建的虚拟环境

  c- {( A8 I# p& {# Y* h( e7 B每次重新打开conda终端都要切换到项目对应的虚拟环境,看到开头由base变为diffsinger就说明切换到虚拟环境了。
8 J1 y5 C0 X* d* K& U; F1 F3 q
* |+ }; T# B* m8 F! R4 x
" R. S: N( a7 Z6 t; l输入：

*这条代码并不适用所有人，需要根据显卡自行更改！！！
1 Q1 f) i. I/ c
conda install pytorch torchvision torchaudio pytorch-cuda=11.6 -c pytorch -c nvidia

" H  V2 ~, g7 L* J- S7 C6 g按下回车键，安装pytorch
; \. [* P  w5 U# C& E8 k/ t

（这里推荐根据你的显卡到官网https://pytorch.org/get-started/locally/ 下载）
' t6 |$ ]9 s. v, g' b# q

（查看显卡支持版本可以在命令行输入 nvidia-smi 查询CUDA Version）


等待conda查找完成输入：

( n) V" A& s# \5 wy
, N: S' `. c2 {& F) d1 z
0 |5 l- ?# V0 U. t( w% z) \按回车键开始安装


9 ^1 Z# d/ U' H, m1 g- T: d等待下载和安装完成
5 ~3 |8 ], F: k- M' L
% U1 \2 ~' V) L; C
2 P$ E7 d$ x& WP.S.
2 A% ~. M$ c% P9 \! |" m, ^
Q:我的显卡显示CUDA Version低于11.6（可是显卡型号很新）怎么办？
' Q( v, k4 o! T9 L% J
+ g) d. {/ _; t/ B% e& D* UA：如果更新到最新NVIDIA显卡驱动后仍无法在官网找到对应版本下载，可以输入

1 |: z* N  {1 V/ R2 l  }conda install pytorch==1.12.1 torchvision==0.13.1 torchaudio==0.12.1 cudatoolkit=11.3

3 ?% {2 Y+ d/ ~3 c; g1 U下载11.3版本的Pytorch（再低就不建议本地推理了，可能不一定有CPU快）
( A1 s8 V9 E+ t) h, H( n
P.P.S.

Q：conda安装torch时候太慢了怎么办？
% i4 o* ?1 L3 }1 R1 _
7 \& s: |2 X$ ^' G, h& I7 {2 AA:可以下载群文件的torch.zip压缩包，解压到任意目录
3 r) C4 ^1 T, C8 `0 y

conda输入：
+ O% W( b) K1 S3 U8 \8 H# Z% k
' P' v. Q7 J4 h, [$ e8 F: R( J; qactivate diffsinger
/ i0 z6 Q" O4 h8 W8 [$ F8 H
6 h! [4 T& }5 x' |# n( s( m切换到对应的虚拟环境（自己更改的命名）
! C" a# r6 ~, s
conda输入：
- V4 n, M- O* C; Y
cd 解压的目录地址

回车键切换到解压的目录（是你上面解压的目录）

5 O0 q* E- Q$ d. q3 i- r2 t- P* F. x这里如果你解压在非C盘路径，可能会出现cd后无变化的情况

  r: Z  S+ b) K4 ?. G
. y  L7 q3 {: @, s8 n2 d这时你可以输入对应盘符，例如
" q- `. \4 `. v7 B5 `2 s  G
f:
# {& D7 M2 t# K
回车

+ _; I+ ?6 A: V2 M*请根据自己情况操作
, r9 }% V9 C$ O
  a4 m6 I5 w6 t6 k
; H+ n0 j6 w2 B8 K* cconda输入：
5 Q/ C$ B: U' N
pip install torch-1.12.0+cu113-cp38-cp38-win_amd64.whl

. Z- F* K, C5 V# l4 x. Q" T' E  k2 z& y回车等待安装完成

pip install torchaudio-0.12.0+cu113-cp38-cp38-win_amd64.whl
" Z5 ]9 G& N' [# R# M
$ `: b9 G7 W1 z# U7 C. F* [' Q回车等待安装完成

pip install torchvision-0.13.0+cu113-cp38-cp38-win_amd64.whl
$ M) {5 x" F+ k" g) V! }$ ]0 W
回车等待安装完成

) O/ G8 t; Y) h  v- q) c" E" B一共安装三个文件

1 F7 Z8 S  I& e' q3 F

为了确保安装版本的正确，可以逐条输入并回车以下代码

: x- Y/ e7 s) |python

import torch
print(torch.__version__)
print(torch.cuda.is_available())  
进行检验
5 F2 z+ [% S2 G& Z* e) ?: }
; d: W  q1 A7 K5 S
如图返回True说明正确安装GPU版本torch
: Z7 b1 o5 Z( n+ K  w
然后可以输入
$ V3 _8 c% R3 Q- z$ z  y" q
exit()

+ x; t3 I7 C" R" v- N+ O2 y4 h) A退出Python



7 w5 b" [) J7 l7 E

OpenVPI团队维护的DiffSinger仓库地址

https://github.com/openvpi/DiffSinger/tree/refactor

（能够流畅访问GitHub的用户推荐使用git clone以便以后获得最新更新）
) V; ^5 C5 M* O! \5 v
, X* m; E5 |" m% W9 ^1 f& ~" ~9 {9 D点击code下载zip
" U* z" J" Z% S" o1 p8 _' j  o, J7 a
8 r7 P' l; [1 I9 m" z
如果你无法流畅访问GitHub导致下载过慢，你可以右键【Download ZIP】复制链接到
9 R5 K2 B+ \/ l, M" J( G# w
, t2 z1 M0 T( chttps://d.serctl.com/
* n2 y& q, v1 Q4 h6 j, H
下载


把下载完成的压缩包解压到任意目录（路径不能有中文）

" V5 [! J" C2 S2 F3 B$ Z


  a' z/ w4 \6 S* |6 B1 ~Conda输入:
( e5 c  I# {+ z0 D# S0 _. k9 V6 f
1 H' E0 ^. }6 C, J+ P$ ]! pcd 你解压的DiffSinger仓库的地址

切换到DiffSinger仓库
5 _' }' g/ Q$ D% t

这里如果你解压在非C盘路径，可能会出现cd后无变化的情况

8 B) {4 [8 p, d$ J& m# {
这时你可以输入对应盘符，例如

f:

+ Y9 T1 ~* d2 S% P回车

: j+ P) c$ J; u: D7 g% I*请根据自己情况操作




然后
) T! m: _. w0 \5 i
pip install -r requirements.txt -i https://pypi.doubanio.com/simple
9 a& M" e; B, q( a/ D) {
1 {2 G" Y& l4 G+ l& u/ K安装剩余依赖
* w9 c) }3 Q% t8 W- U1 H9 k) y7 h& e
  [$ Y$ G1 X4 k, y5 s
等待下载安装完成
+ a8 {, |3 [! h# H
1 M- u! S+ F% j
请确认安装依赖过程中无任何报错（大部分报错可以通过www.baidu.com解决）



7 s2 g& ~/ r3 H# R; PPart 4.推理
; d* V/ [0 K! I- v*这里以OpenVPI团队2022年12月04日发布的Demo视频的权重为例
9 h/ R1 z, @( k
  O7 n- v  N! z3 C/ Q2 e
下载交流群（907879266）里的1117_opencpop_ds1000_strict_pinyin.zip

4 o, P* g: i: \: P. F* Z
解压到你解压的DiffSinger仓库的地址的checkpoints文件夹下
2 |$ F& c; \( i2 ]
( v" g) U8 f3 J2 ^*如无相应能力请勿修改名称等
2 q* K5 ?! N$ S+ P4 X# z9 \
*该权重需要搭配最新公测44.1khz声码器

( T: ]; |8 E5 I申请地址为
9 @) q8 u7 F" @( K
5 K& g1 A0 [* P. f( Uhttps://openvpi.github.io/vocoders/

; s- S. [6 j+ u3 D" m* ?申请成功后同样解压到checkpoints文件夹中


! j' I* n- @/ \% v*如果只是为了尝鲜，请使用群内24khz模型权重


( z2 R. [; B; Y% x, Z9 @" T下载群文件里的ds文件，出于方便可以放在你解压的DiffSinger仓库的地址根目录
. [" f+ ^2 a2 H& u' Z
4 r1 J  V# h9 A2 ?4 b; ^* \; k
% d4 Z8 ?) T" ^) d" k
6 h, U1 f5 R- e2 l) B. r/ _$ F: @6 n
' h' y9 X% y, B; M然后输入
! N5 r& X" i5 W0 m, R; y# M
python main.py 我多想说再见啊.ds --exp 1117_opencpop_ds1000_strict_pinyin
, c$ {. ~( M5 ~, R% B
*这里--exp用来指定模型权重，后面填你所使用的权重的文件夹名

9 |$ |: `3 l) G) Z. l
进度条走完后音频会出现在infer_out文件夹
' n5 o1 d, H( p; Y' O' x
8 O2 b% ~$ U, Z' s9 y
( G7 A3 ]0 f+ ~# t  b2 O0 t. {main.py可以指定以下参数

2 a2 A& Z. w1 ^. E% s5 L
  n* M8 [, `6 C) L: M+ c2 y2 o  -h              展示帮助信息并退出
7 `$ D8 J9 W! _
: J, j! D, V8 D1 W+ i  --exp         指定权重文件夹
9 g+ ]# a# N3 f( ]* V& a
( \3 A. m# T' H( L/ |  --out          指定输出文件夹

" l9 h1 k: [( J- ^* M+ }  --title          输出文件名
- D5 x7 g" S9 H  U: w: ^8 H
  --num        一次运行渲染次数
2 N! S: ?8 c3 a( C$ `/ B1 K- D5 C  L
; s+ ~, M: \- y' e  --key          变调（半音）
+ a' v, q$ f$ v
  --seed        指定随机种子
/ ]3 S* N# O4 K* A* U" e" F- ]
3 z5 W# e8 q( D6 q6 v; h1 J  --speedup  PNDM加速倍速（默认10倍，不建议过高）
3 h6 R- p* V8 a5 L
2 X, x+ R6 \; a( y. p6 U+ Y  x$ C  --pitch        指定音高（截止教程编写时已经废弃）

; e: e" r- K" v  --mel           保存梅尔谱而不是WAV文件

) p4 R( ^+ o: x% r, z
; V8 W( F0 p- a( T2 l训练部分将在DiffSinger使用教程（暂行版）（随时可能要过期版）（二）中更新
7 j5 \9 k: }+ d# c" w; Y: t& W8 a$ F
因为代码迭代很快，请以最新仓库信息为准

  f+ a, O, m  W0 ^
+ Z- a1 B1 c5 g9 h7 _& \$ `参考文献：《DiffSinger: Singing Voice Synthesis via Shallow Diffusion Mechanism》，第一作者浙江大学刘静林 文献下载地址：https://ojs.aaai.org/index.php/AAAI/article/download/21350/21099

( f8 p2 Y3 }1 w( e. g& d! tDiffSinger原作者的官方仓库：https://github.com/MoonInTheRiver/DiffSinger
0 v) {# Y8 R; [  t! g
- f+ X: [" _+ H* g3 U# [, G; |& xOpenVPI团队的第三方fork仓库：https://github.com/openvpi/DiffSinger
- a) @+ @: t  i
! ^  e- G$ N! u9 s+ {! L2 n@深夜诗人编写的SOVITS和Diff-SVC教程：https://www.yuque.com/jiuwei-nui3d/qng6eg

DiffSinger社区声码器企划：https://openvpi.github.io/vocoders/

! \/ Z5 p: _8 Y6 r3 |+ x: J* K/ QDiffSinger交流群：907879266
' p! V* W: ?1 |8 n
3 ]- K% [9 _4 L: ^/ K: ] 作者：孙飒_TS https://www.bilibili.com/read/cv20356716 出处：bilibili

sd4859171

下载到了我需要的文件

邋遢lata

气氛不算太好，不过也可以

0000

论坛OK

wjswzj0

资料不错

zbaba

可以解决了我的问题