DiffSinger使用教程 介绍 下载 （随时可能要过期版）（一）

admin

*本教程默认使用由OpenVPI团队维护的仓库
( K0 N$ j6 P; t- E
Github： https://github.com/openvpi/DiffSinger/tree/refactor
+ y, B! v; i$ r! ]
*本教程参考了@深夜诗人 为Diff-SVC和SOVITS写的教程

) n, G3 @; S- Y: a0 X6 Uhttps://www.yuque.com/jiuwei-nui3d/qng6eg

* B% @; [( x3 J# c*受限于编辑次数，最新请访问

https://www.yuque.com/sunsa-i3ayc/sivu7h

" S* {: e' N! X% ?- y, {4 w: vPart 1.设备准备
" t6 u" m6 \! \  M7 j一、硬件要求
) X( Q. t8 E9 G
- e% k6 G. y. ~. F4 N( l0 f+ }模型分为数据集处理、模型训练、模型推理三部分

*由于标注还在高速迭代中，暂不提供数据集处理部分内容，本教程默认使用OpenCPop数据集（出于协议原因需要自行到https://wenet.org.cn/opencpop/申请）
+ Z: o, K3 d/ X3 K3 ]) E


1.模型训练：
% c, X" j" F9 [; V7 Q9 h$ P2 z) K* |9 O: P
& U7 Q1 E5 ?, u7 D要求6G以上显存的显卡（需要修改参数，不建议），常用服务器的V100（32G显存）、A100（40G或80G显存）等（Colab或自行找平台租用）
) B8 m  {: o4 F; E4 B5 ], Y9 e
Q：xxx平台能不能用？

A：GitHub的代码一般Linux平台可用，训练不建议使用Windows

) K2 d' A: G% ?% z) T& T/ |2.模型推理：

实时速度指电脑每秒可以使用模型处理n秒的音频，如4分钟音频耗时1分钟处理完毕，实时速度为4x
) ^% i, G$ k- c% {, q: }/ k& p
加速推理为（部分！！！）模型自带功能，同硬件下牺牲音质，提高推理速度
) J  b5 u# P% n* h& @
, Z' i4 Y! t8 L  B3 Y+ H7 p5 X以i5-8300H为例，CPU的实时速度约0.1-0.5x，3分钟歌曲转换耗时5-30min不等

以1060-6G为例，GPU的实时速度约1-10x（取决于不同模型和加速设置），3分钟歌曲耗时30s-5min

" L7 t7 R" D) r& G1 {' Y9 @! T因此推荐非NVIDIA显卡或显卡性能较差用户使用Colab进行推理（需要能正常访问Google）
% E" d3 Z( Q7 i
- {. m" T1 }' E* ]8 L; L* uhttps://colab.research.google.com/drive/121Bb5yos7O05kqs-gwOZAB8-UMBVy0hN


( t' }0 C  Q; T2 u
% X# [+ |) _5 u& D) y* oPart 2.环境前期准备
*教程只在Windows 11 22H2下Python 3.8环境进行了测试，用于Windows系统下本地推理。
; V6 S/ e6 j; W2 k" d6 B5 O& d
一、Anaconda安装（你也可以使用自己喜欢的其他程序）
9 l  F9 i' w1 X
! r' R! `7 k+ g清华源：https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/?C=M&O=D

& a; K7 X/ k( V0 w6 N# n5 G（目前访问可能下载较为缓慢）
# y/ @# [! {! V9 @' `' N
1.下载Windows64版Anaconda


3 g( z" _3 d+ F
Anaconda下载
$ Y# Y7 G" e6 j  J. P, z, l: a6 `2.默认安装在C盘即可

! ~5 q! i/ P+ O. W安装时记得勾选：
& i; }! L2 P# }5 f' O& Z
$ a1 [, k: ]: b' o( u' d, @% r把Anaconda加入系统环境变量。
把Anaconda加入系统环境变量。

7 i3 b5 z  _' f. k/ T0 b9 `7 g3.在开始菜单找到Anaconda的命令行打开
  t% B. b* P3 Q& z
在开始菜单找到Anaconda的命令行打开
& C, A$ G) A5 P( t2 W命令行
二、Anaconda的换源

1.在命令行界面输入：

& X7 U+ v& e$ L6 R) N9 uconda config --set show_channel_urls yes

5 A1 P! g9 ^  s: t- T& o& ?按下回车键

: K6 p1 x/ k2 o. h# I$ O9 O2.接下来打开我的电脑
( x3 }$ `! s" f$ [& j) G, _6 {" }
* D. `0 ^! j3 h& t3 M( y进入C盘\用户\你的用户名文件夹，也就是C:\Users\xxx
. D; g' p/ b7 Z
, W( \& p, V4 v# l* [6 U; \, _xxx是你的用户名
7 O' ]; P) V$ B* i! |6 y" s7 T/ }, z
3.找到名为：.condarc的文件
: T$ e) s4 z) U2 x/ W& \  C
用记事本打开
  R/ m: h8 x9 b, f
8 ]- O9 l; L. F  c+ h$ r: n4.删除里面原本的内容

+ c# v- b' M+ p  Z; S# o将以下内容复制粘贴到里面点击保存

channels:

- X6 U- E! B8 ~" A5 v- https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
0 y. q0 m- }, ~8 ^5 x' M6 H! j9 s
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/menpo/

  r3 E4 f. z, `. G- https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/bioconda/
# x$ a" `7 n2 u
2 o/ g0 \0 p2 |- ?. @- https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/msys2/
- q. q, o8 L9 r0 ^
- o& t) V% q# J" u+ n# Y( c- https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
7 H4 G# w( o% X% t
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
% w- h7 d2 H, s" q
6 i( F% P8 q/ m# s& c" H# o- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/

, G! G: {8 y: F+ Z- defaults

show_channel_urls: true

) h& `2 X* t* A7 D6 L" N3 z/ i! idefault_channels:

2 w/ d1 R& u# v7 j8 F- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main

7 \3 o: ]7 X+ {* N( W5 q: k' I  W- l- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r
- e( ~; [$ c: N8 h
! T0 U7 S0 U  z) C" t, z5 O6 f4 f- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2

. C" R* p4 k) Y! y: Wcustom_channels:
+ v8 {' `2 D2 ^4 g
conda-forge: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
+ \) z$ d! R# \  Y0 c8 p% |4 Y
msys2: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud

& _, n0 K3 Y- r4 |bioconda: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud

menpo: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
# d0 V2 m* S0 |0 `
pytorch: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
0 k( W- @  p9 v* `) [
pytorch-lts: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
7 u0 D/ D* I. Z2 U% K
& x0 z6 h1 r7 N3 U4 vsimpleitk: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
- ?: ]/ j5 J: p  w  v. i& @' E4 Y

5 N+ }+ i8 D1 f7 n' D7 i. P' W3 b  }就像下图这样：
0 f+ W, n5 U* P: C8 W3 p1 F$ i
4 g! G* I# h1 Q3 `% E) w6 M如图
" [; m( J( a6 [1 {* @三、Conda换豆瓣源（如果清华源过慢可以尝试逐条输入并回车）

conda config --set show_channel_urls yes

conda config --remove-key channels
8 D7 p' D2 V+ _; _! D6 K3 E6 V
conda config --add channels https://pypi.douban.com/anaconda/cloud/conda-forge/
* w! m4 G6 m( W9 R6 [$ {
  w6 L6 X/ n# U* ]1 K( Qconda config --add channels https://pypi.douban.com/anaconda/cloud/msys2/

conda config --add channels https://pypi.douban.com/anaconda/cloud/bioconda/
: m4 I& U- [' o% q& M3 S# j
" c) }9 i5 E$ q- h) zconda config --add channels https://pypi.douban.com/anaconda/cloud/menpo/

% P# S2 a/ x& Z; ~9 y0 _1 r* A3 Xconda config --add channels https://pypi.douban.com/anaconda/cloud/pytorch/


: y# v* ?) F' `Part 3.推理环境配置
为了避免和其他项目产生依赖冲突，我们需要为DiffSinger项目创建一个虚拟环境，该虚拟环境通用于接下来所有DiffSinger相关教程。
4 p) e  i5 H. ~# k% _& r
3 o& P) z8 X% s- D+ [1 _1 O0 e一、创建个Python 3.8的虚拟环境
* }% {& p8 f, s6 f  Q
1.输入：

- m3 q' ]3 P) R  Jconda create -n diffsinger python=3.8
) s( ~4 B5 u( ]
按下回车键 ，diffsinger是虚拟环境的名字可以换成任何英文和拼音名，只要你记得住就行。
6 o$ [! \$ I  S9 }
: i4 I( }/ Y$ ~, P2 i7 t
5 ?7 i' X+ t9 D- `+ F1 d! |) j等待conda查找所需组件，完毕后会显示下图内容
, G# N1 o. D4 `6 [! H# R

输入：
/ {5 i7 K$ Z# @* O+ ]
8 t8 K8 O6 ~+ s0 y- z3 D0 }y

. w7 Z' E" ~* g1 M* o按回车键开始安装，等待下载和安装完成
* R0 E. S1 _# _2 ?$ V
" i, B' z# H% k


0 E/ m6 }. P) V# L1 Z$ N输入：
' T; q5 t) p. @, H; |
activate diffsinger
5 B3 s6 v, b6 M
回车，切换到刚刚创建的虚拟环境

每次重新打开conda终端都要切换到项目对应的虚拟环境,看到开头由base变为diffsinger就说明切换到虚拟环境了。
' M6 a4 y, _9 J% q1 I' N

/ T3 j, \% E% J0 W4 R' ], r输入：
+ F7 d% {/ d2 H& _# ~
9 e( L, l+ m" s5 C' `*这条代码并不适用所有人，需要根据显卡自行更改！！！

& v+ R5 M8 P# zconda install pytorch torchvision torchaudio pytorch-cuda=11.6 -c pytorch -c nvidia
+ }7 I& P6 Y3 {- n8 B5 H. a- [
3 i6 E+ ~+ V# `! A2 s2 u按下回车键，安装pytorch
2 x4 h0 o/ t* {+ ]. n' @/ @0 ^& i- g( k
' u; Z# k1 a' Q& y" m/ q: h, U3 v
（这里推荐根据你的显卡到官网https://pytorch.org/get-started/locally/ 下载）


$ M/ m$ Y5 o4 ~# n+ W7 w（查看显卡支持版本可以在命令行输入 nvidia-smi 查询CUDA Version）
" e1 `( u2 H& C- u  n1 b7 y
+ _1 l5 m9 y" `  i3 Z
6 S. w  g9 i0 d% a/ o等待conda查找完成输入：
# ~$ ^# C  v; N% \
y

按回车键开始安装
+ b/ P/ ?! X# b4 f8 G, _
* d$ J& G2 I. [
9 X7 g- O7 o$ F; G7 v等待下载和安装完成
3 A! m* i' u0 }0 ^* g
8 S- [) x: P& N
P.S.
1 o, N' v* V. E+ g0 ~. ?4 e3 m' `
Q:我的显卡显示CUDA Version低于11.6（可是显卡型号很新）怎么办？

2 j6 J. [# S/ ]% z' ZA：如果更新到最新NVIDIA显卡驱动后仍无法在官网找到对应版本下载，可以输入

conda install pytorch==1.12.1 torchvision==0.13.1 torchaudio==0.12.1 cudatoolkit=11.3

下载11.3版本的Pytorch（再低就不建议本地推理了，可能不一定有CPU快）
1 q5 O9 o5 s9 R3 R
P.P.S.

# w' ~3 Y) q0 j0 U  y+ a1 o, dQ：conda安装torch时候太慢了怎么办？

A:可以下载群文件的torch.zip压缩包，解压到任意目录

5 Y& y& ~  g) S3 o! [* z4 b
5 T) C, ]; L# T) q8 L5 Oconda输入：

activate diffsinger

切换到对应的虚拟环境（自己更改的命名）
0 O0 z, h3 V- c
: x& v, L9 H( `3 L, R9 xconda输入：

cd 解压的目录地址
( z* E' B/ Q9 n4 x
回车键切换到解压的目录（是你上面解压的目录）
% J7 Z9 Q1 D% |0 `
7 T9 \( r0 ]; K, I! o$ v8 A; s这里如果你解压在非C盘路径，可能会出现cd后无变化的情况


( M; P+ k& p8 F0 c5 E* A% F! G! l/ k这时你可以输入对应盘符，例如
. T- a4 p7 ~; |5 ?: K+ g. u
" l$ A- \/ h+ w! H3 l, P, ]: vf:
# x# s, N+ I9 n
回车
+ i9 }9 K0 {1 }! w" H  L
*请根据自己情况操作
9 \" l4 V. q  L" H) N. y) C

4 P$ O# X( a( N. R) k. aconda输入：

pip install torch-1.12.0+cu113-cp38-cp38-win_amd64.whl

- e* t' u# _4 K- i% w7 E3 y回车等待安装完成
  B' |, K2 B: p/ p
pip install torchaudio-0.12.0+cu113-cp38-cp38-win_amd64.whl
+ m* K* e4 H2 J7 w7 ]5 _: m
+ d: O6 f3 o7 R) R' |6 l1 q" d回车等待安装完成

1 R. C- M$ ?- E2 O$ J) u# mpip install torchvision-0.13.0+cu113-cp38-cp38-win_amd64.whl

回车等待安装完成

一共安装三个文件
3 M$ J2 L$ X, u* e% V6 Y) [( t4 y

8 Y# ?& T. M& m* G# C' h
为了确保安装版本的正确，可以逐条输入并回车以下代码

python

- @. O; i  E! p$ W9 d' pimport torch
print(torch.__version__)
print(torch.cuda.is_available())  
5 k! ^$ s1 ~" R$ B进行检验
1 _. f0 c1 `* Q" B% k8 @9 \

0 u% [8 v! \5 D; D4 \# L如图返回True说明正确安装GPU版本torch

然后可以输入
( i/ G/ t3 B2 _" \. c3 N# `) \
exit()
# f# S  }, t- ^0 X9 n
2 W. R, Z2 _  Y" c! s: j- w# O退出Python
& t9 H- v6 C2 F; I; `( {6 c


1 }6 u0 a! k8 W* G
+ \3 G& u5 v  O+ ~* ^6 k  h1 y1 v. G
" j4 E' h/ b* }4 c; p5 jOpenVPI团队维护的DiffSinger仓库地址
! M4 n# n8 k/ i( D5 r- J  m
https://github.com/openvpi/DiffSinger/tree/refactor
5 ^: O" G1 C$ b6 E
& s0 S) R* e2 c# j! z; Z0 B8 E（能够流畅访问GitHub的用户推荐使用git clone以便以后获得最新更新）

- N) d) H, }" d# Y: A点击code下载zip

8 e: f& M6 F  z& v
如果你无法流畅访问GitHub导致下载过慢，你可以右键【Download ZIP】复制链接到

6 J/ n& j# r' z$ a. z6 ]* X7 Shttps://d.serctl.com/

) X9 C$ H7 V9 c2 a! U下载
3 {# Y0 j% O  J  A, p0 F
4 }) h$ @$ i" E: x7 g" T: V* B
把下载完成的压缩包解压到任意目录（路径不能有中文）

2 d+ h$ z( B7 r& Q2 x" q. U! _
( h" u. ?, c2 v6 }6 s; k

Conda输入:

( s7 _3 s# p& |* @/ J# B3 C. P* Rcd 你解压的DiffSinger仓库的地址
6 e- u3 r0 D/ E9 [* Y# R) T
+ R5 A* F( [3 ~: I+ {切换到DiffSinger仓库
3 h& S) o' f! r
$ z+ j5 ~3 U- F5 B
* N$ k4 F- b6 B% a+ |5 J这里如果你解压在非C盘路径，可能会出现cd后无变化的情况

+ A$ V* V' C/ P
$ P9 W2 k3 V/ {1 n9 y. C9 b这时你可以输入对应盘符，例如

f:

/ v1 [$ U# J. `' b7 Q; X回车
* l5 e3 w# X5 B2 [
*请根据自己情况操作
; t$ [$ k4 N( T
, E2 M! b* T2 t7 A3 ~

$ O1 Y4 ]* G/ ^$ x2 q
然后
2 y# Q8 C5 {3 [. F
+ q6 \0 j5 A6 y- D0 }pip install -r requirements.txt -i https://pypi.doubanio.com/simple
9 B& v0 ~; p6 |. j/ d
安装剩余依赖
' |* h! L" p  {
& |; w" c: B4 K* K7 t, T
等待下载安装完成


  f. [+ @4 [* M) D" A6 s: h: P4 ?请确认安装依赖过程中无任何报错（大部分报错可以通过www.baidu.com解决）


/ S4 O# m* |* R. v- [" ]3 o
Part 4.推理
*这里以OpenVPI团队2022年12月04日发布的Demo视频的权重为例
$ S8 u) g8 w) [( p6 {' m* c

' j( U9 n( F4 h4 d( _8 B" p下载交流群（907879266）里的1117_opencpop_ds1000_strict_pinyin.zip
* a" Y% j5 r' a+ U! ~* i1 K

& V4 w' N7 N" g解压到你解压的DiffSinger仓库的地址的checkpoints文件夹下
# Z1 r. |8 m- `8 R
*如无相应能力请勿修改名称等
) a' k: R. Q8 a* h
7 }7 X* a/ v+ X, v$ s" G1 l% Q; @*该权重需要搭配最新公测44.1khz声码器

申请地址为

, k5 @! m8 G3 J% c. Dhttps://openvpi.github.io/vocoders/
- t+ d$ f+ f4 G9 ^' r
3 f' W$ w* ?4 y申请成功后同样解压到checkpoints文件夹中
% T( h* |& P: x  X) S: e, X( j0 x9 h
8 L- `' w+ R( a
*如果只是为了尝鲜，请使用群内24khz模型权重


3 D; h; T$ o& v; ?) N下载群文件里的ds文件，出于方便可以放在你解压的DiffSinger仓库的地址根目录
7 [9 \- f% ]  P: h8 J! i

# h0 X' R  `8 \: D  G9 `; [
0 j$ J: J# M. z, ^  H4 z
然后输入
+ I1 D, A4 C6 g
4 W$ M2 x5 Y4 r: Y% b1 T; Spython main.py 我多想说再见啊.ds --exp 1117_opencpop_ds1000_strict_pinyin
% Y0 j9 v* i" Z$ k7 U+ i) R
) I& N" z  x2 L. \/ p! D*这里--exp用来指定模型权重，后面填你所使用的权重的文件夹名
5 Y7 ~6 h: R/ C% C) g! I+ Q& x4 x1 P6 J

3 p( s, ]6 l1 ]: x2 [  e. \5 V进度条走完后音频会出现在infer_out文件夹


8 j  k1 y% |* c8 I9 h1 p, Lmain.py可以指定以下参数
: |$ s  x1 u8 M) i
9 d, Y( E' `% b+ H1 p8 h  j9 X: l7 ~
  -h              展示帮助信息并退出
: v$ q, ?+ r7 h  I0 k9 a% }
  --exp         指定权重文件夹
6 A$ }9 y7 G  p3 z# w# R: b! r3 W; o
# T' o" x9 u% M1 G" b  --out          指定输出文件夹
+ {5 a! L0 G1 y5 a% A  [0 ?. f( D  \+ p
  --title          输出文件名

  --num        一次运行渲染次数

  --key          变调（半音）
. y6 w7 I( p5 X- r7 C( G$ a" Y# C
$ |) D" C2 `9 M6 `- C  --seed        指定随机种子

: n' Z" o2 n9 c. r( M$ e* M2 o8 F  --speedup  PNDM加速倍速（默认10倍，不建议过高）
  c2 G4 t) _0 p; o; C. i" h, _
6 P# |( O% v- n1 g. R1 i" }* y  --pitch        指定音高（截止教程编写时已经废弃）
9 I6 F+ D6 D  P, u# d
  --mel           保存梅尔谱而不是WAV文件


训练部分将在DiffSinger使用教程（暂行版）（随时可能要过期版）（二）中更新

因为代码迭代很快，请以最新仓库信息为准


% |6 M8 U" i1 ^' u* [2 L参考文献：《DiffSinger: Singing Voice Synthesis via Shallow Diffusion Mechanism》，第一作者浙江大学刘静林 文献下载地址：https://ojs.aaai.org/index.php/AAAI/article/download/21350/21099
8 U8 w, B2 X7 }0 {) P# ^1 ]+ X
DiffSinger原作者的官方仓库：https://github.com/MoonInTheRiver/DiffSinger
* d/ Y" p( E! ~
OpenVPI团队的第三方fork仓库：https://github.com/openvpi/DiffSinger
6 r7 _9 M& s- l+ e# n# D2 v& g* e5 F
+ _* e9 h! Z8 \4 N@深夜诗人编写的SOVITS和Diff-SVC教程：https://www.yuque.com/jiuwei-nui3d/qng6eg

DiffSinger社区声码器企划：https://openvpi.github.io/vocoders/
2 ]1 W5 g# b2 z! m5 ?! _  y
DiffSinger交流群：907879266

; b9 |, ]: d4 V- c 作者：孙飒_TS https://www.bilibili.com/read/cv20356716 出处：bilibili

3 N0 g. y) O- k( _7 i2 q% r

sd4859171

下载到了我需要的文件

邋遢lata

气氛不算太好，不过也可以

0000

论坛OK

wjswzj0

资料不错

zbaba

可以解决了我的问题