DiffSinger使用教程 介绍 下载 （随时可能要过期版）（一）

admin

*本教程默认使用由OpenVPI团队维护的仓库
# ?! q# Q8 O& Y7 a# B& u/ x" G! z
- X% l0 ^" o4 D- W- U) ~Github： https://github.com/openvpi/DiffSinger/tree/refactor
. }, v9 Y8 ]$ U. l4 i* B! _8 C
" a* e: c2 D/ O*本教程参考了@深夜诗人 为Diff-SVC和SOVITS写的教程

https://www.yuque.com/jiuwei-nui3d/qng6eg

+ v" w: M4 w& u  E/ E. F# E*受限于编辑次数，最新请访问
, y% x1 c) e. h+ s8 W% [0 Y
https://www.yuque.com/sunsa-i3ayc/sivu7h

! q. J) L" H/ X9 o% VPart 1.设备准备
一、硬件要求

模型分为数据集处理、模型训练、模型推理三部分

$ H1 y  u2 ]+ f. b9 q" w. p*由于标注还在高速迭代中，暂不提供数据集处理部分内容，本教程默认使用OpenCPop数据集（出于协议原因需要自行到https://wenet.org.cn/opencpop/申请）
4 D7 m# U; G& L9 j

, m; F$ d( O' o5 G! N: D! U
1.模型训练：

1 ~, _, {% ]  O$ |- O0 |, M! \要求6G以上显存的显卡（需要修改参数，不建议），常用服务器的V100（32G显存）、A100（40G或80G显存）等（Colab或自行找平台租用）

- Z- P8 G8 i4 T. K! YQ：xxx平台能不能用？

: J! T) I! t0 E: P! ]$ @0 v) f1 CA：GitHub的代码一般Linux平台可用，训练不建议使用Windows

2.模型推理：

实时速度指电脑每秒可以使用模型处理n秒的音频，如4分钟音频耗时1分钟处理完毕，实时速度为4x

/ r9 r0 U. \! b* m# @加速推理为（部分！！！）模型自带功能，同硬件下牺牲音质，提高推理速度
/ B5 A/ M9 J( ?$ p" A4 u, C5 p
4 I2 d2 X( {2 a) @以i5-8300H为例，CPU的实时速度约0.1-0.5x，3分钟歌曲转换耗时5-30min不等
( g3 q, ~6 c8 D3 W
以1060-6G为例，GPU的实时速度约1-10x（取决于不同模型和加速设置），3分钟歌曲耗时30s-5min
/ [9 `! g8 a9 A# [6 N! Q
因此推荐非NVIDIA显卡或显卡性能较差用户使用Colab进行推理（需要能正常访问Google）
, t" d' R) {$ b% t7 k1 d
4 L! i5 |9 ^$ U7 E, m+ ?3 @6 I7 Ohttps://colab.research.google.com/drive/121Bb5yos7O05kqs-gwOZAB8-UMBVy0hN

6 x* E0 q2 c1 Y* g5 b# v* X
6 |9 C9 S+ z; l
. K; f$ b* y) ^- |' i; s: [+ ^7 j* RPart 2.环境前期准备
3 b' D' ]1 d% f, y*教程只在Windows 11 22H2下Python 3.8环境进行了测试，用于Windows系统下本地推理。

一、Anaconda安装（你也可以使用自己喜欢的其他程序）
" }, ?" [! g, I+ U7 T: Y" l0 _" k
清华源：https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/?C=M&O=D

' y, k# c( i8 I! G（目前访问可能下载较为缓慢）

1.下载Windows64版Anaconda

$ }/ w; ?. `0 ]2 J8 E" D

Anaconda下载
; G2 Q( q% ^) s2 a" a2 y# ?2.默认安装在C盘即可
) S2 W! A, `* h' H7 Q4 {
安装时记得勾选：

7 T. t1 p5 {: y( d把Anaconda加入系统环境变量。
把Anaconda加入系统环境变量。

  j. s6 p. l: u: ]9 F7 D" p) O3.在开始菜单找到Anaconda的命令行打开
1 B9 t% e$ S# j1 b
# G. D9 Q1 [0 r6 n8 @在开始菜单找到Anaconda的命令行打开
命令行
二、Anaconda的换源
% A& K  }( |/ W% a
1.在命令行界面输入：
" `# e: B) b* H' q
conda config --set show_channel_urls yes

按下回车键

2.接下来打开我的电脑

: n6 N' c$ P; i2 {进入C盘\用户\你的用户名文件夹，也就是C:\Users\xxx
' R- r9 D" c4 h' y9 o, A( ^3 u4 e+ W8 }
xxx是你的用户名
+ M% c+ V( [7 B9 R6 p; ~+ g. E
3.找到名为：.condarc的文件

用记事本打开

4.删除里面原本的内容
5 H1 Y* b% V! t; h5 u+ a$ J
将以下内容复制粘贴到里面点击保存

channels:
5 h6 d0 E, `& X, |* t3 T# n4 V
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
3 R4 g! [% J- [1 A
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/menpo/
. n7 b* w7 ^/ i/ b
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/bioconda/
* f4 |$ @% l: t; f
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/msys2/
& S6 \. L; F2 U
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/

- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/

2 g8 |# r8 @/ J3 D- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
2 J. o! c; h1 L) M! h& j
- defaults

. F6 d! c& _: h$ X7 k( ^show_channel_urls: true
( ^+ h2 y" ^4 U# o: x2 R; E
default_channels:

- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
" [. Y1 n$ ~$ q
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r

- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2
$ Z+ V4 g( G( j' v3 m1 G
1 `& D3 W4 P2 m9 Ycustom_channels:
$ P8 f! h: i( Z& i
conda-forge: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud

msys2: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud

bioconda: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
! z) X+ b' P+ B0 q) ~! o! \
% }1 a/ [, z$ q! R1 Bmenpo: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud

9 e8 H* H0 L; d- |; r1 |pytorch: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
1 u, L8 x6 E- E6 N5 W
8 Q* T  k% l6 ^2 A4 ]" Hpytorch-lts: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
. U" ?4 k8 ?5 r$ `; s. ~  W3 Y
0 q! y" U1 p# W7 a3 p5 Wsimpleitk: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
' h6 y+ @: R% n( l+ f
8 |- ^2 b+ J9 _2 N3 \7 M) z8 ]' O# y
# w7 g4 w  e- T就像下图这样：

如图
三、Conda换豆瓣源（如果清华源过慢可以尝试逐条输入并回车）
* L% H* s$ Y& m5 n- l& }0 e
conda config --set show_channel_urls yes
" Z. c# k" g+ x8 }" P# W
conda config --remove-key channels

conda config --add channels https://pypi.douban.com/anaconda/cloud/conda-forge/

conda config --add channels https://pypi.douban.com/anaconda/cloud/msys2/
+ J) D+ X* }( G( i3 |! C
conda config --add channels https://pypi.douban.com/anaconda/cloud/bioconda/

  i5 n9 h, m" G* y+ C$ [conda config --add channels https://pypi.douban.com/anaconda/cloud/menpo/

2 a6 A$ O! }5 e9 T* Iconda config --add channels https://pypi.douban.com/anaconda/cloud/pytorch/


1 V4 b9 S" g) `' O+ k2 IPart 3.推理环境配置
% u% ?6 p9 e$ I6 a3 @为了避免和其他项目产生依赖冲突，我们需要为DiffSinger项目创建一个虚拟环境，该虚拟环境通用于接下来所有DiffSinger相关教程。
1 t- ^& _  A% g7 ^3 y
1 r* s) `% v, L一、创建个Python 3.8的虚拟环境

1.输入：
( m9 w! o6 p  ?
conda create -n diffsinger python=3.8

+ Q/ G. {& @, [: e% a- G按下回车键 ，diffsinger是虚拟环境的名字可以换成任何英文和拼音名，只要你记得住就行。
: Z8 M! T8 l9 V6 o( A

等待conda查找所需组件，完毕后会显示下图内容


输入：
! x6 q: c0 P& {6 {" F1 Z  ?5 u
y
1 ~0 _' h: Y$ }; J$ }
% d# C  |4 k. E' }按回车键开始安装，等待下载和安装完成




4 T( J1 l& z0 n输入：

activate diffsinger
) l* A* l' D) n+ G: M
9 b2 n. D+ V; c回车，切换到刚刚创建的虚拟环境
# o1 k1 \# a( u' r  T
每次重新打开conda终端都要切换到项目对应的虚拟环境,看到开头由base变为diffsinger就说明切换到虚拟环境了。
! w  ?8 b1 C; s  Y& W

8 l' d5 g' c0 _输入：

*这条代码并不适用所有人，需要根据显卡自行更改！！！
, o1 P$ x& N" l  R# R
- K8 {1 M, A. c9 u! Cconda install pytorch torchvision torchaudio pytorch-cuda=11.6 -c pytorch -c nvidia
/ E3 r8 v8 @8 o
按下回车键，安装pytorch
2 m( I+ ~" L- u7 O" y; Q
7 R" _! V( Q! D7 J6 j
! G  k4 {; m$ X$ w+ {( H, \! M（这里推荐根据你的显卡到官网https://pytorch.org/get-started/locally/ 下载）

9 A7 i4 {5 P: h* k/ z1 m
* _( t- @& K1 e8 y+ E（查看显卡支持版本可以在命令行输入 nvidia-smi 查询CUDA Version）
6 b; x' L1 }, M8 F
8 _* Z. n* J7 v# J5 f
' i4 J( k  ~4 H2 ?等待conda查找完成输入：
# b* C0 j5 I: F  p$ o
% `6 H; E1 g: k/ E, O1 jy
8 E9 B0 \3 v) A7 Q  F! }( y- ~5 \
按回车键开始安装

( U: W. G' I& p8 v8 |. Z( ]. P
/ H; i" ~' Y. F6 `: g& q等待下载和安装完成

+ S5 o# I* Y" |- X' K- F) k9 Q
P.S.

/ ?* c/ F. N  B$ k/ P* T) \; O2 q+ uQ:我的显卡显示CUDA Version低于11.6（可是显卡型号很新）怎么办？
: }! X/ Z- Q- u, U, k  f, c) i
A：如果更新到最新NVIDIA显卡驱动后仍无法在官网找到对应版本下载，可以输入
9 ^9 L' q8 C! n
conda install pytorch==1.12.1 torchvision==0.13.1 torchaudio==0.12.1 cudatoolkit=11.3

下载11.3版本的Pytorch（再低就不建议本地推理了，可能不一定有CPU快）

, U( g/ P! m% P' z2 j+ y; R3 u0 q' _P.P.S.

! X- c4 g! U$ j( K8 OQ：conda安装torch时候太慢了怎么办？
) ?6 O9 C. y- l" h
A:可以下载群文件的torch.zip压缩包，解压到任意目录
0 ^- B$ P+ E8 K2 ^# T* P

' Q3 o9 Y! l. r) [4 `0 a6 C5 Z( Fconda输入：
+ z$ J8 F3 y/ s6 s
( W! {& F3 G, ]; Y" y: F: o6 X2 }activate diffsinger

8 O. j0 g; ], e0 Y  D  K; R( s9 D切换到对应的虚拟环境（自己更改的命名）

conda输入：

cd 解压的目录地址
6 G8 C3 Q/ E# p* k+ A
/ s+ G: x3 b) c; ?  W3 I, u回车键切换到解压的目录（是你上面解压的目录）

这里如果你解压在非C盘路径，可能会出现cd后无变化的情况
( c; g/ y" g4 F% i" ?: D
3 w9 W8 g6 ?; Z1 Q) O9 r
) P7 q+ \# B) z7 k. b  m8 f# [这时你可以输入对应盘符，例如
  a' `+ l5 j& N! P2 T
: w: K, W/ A; z+ H9 y( p9 n. B0 `f:

4 ]4 |7 X2 D8 x/ V" V9 G回车
% V) Q- v" s) L) V# ]
8 Y5 H9 d2 ~6 j4 g* c) G! ]3 [* @*请根据自己情况操作

' \7 Q  k) B# \; r1 g
conda输入：
- J, J2 t# Y+ R) N" J) F' f
pip install torch-1.12.0+cu113-cp38-cp38-win_amd64.whl

, X+ Y! ?: `8 A回车等待安装完成

$ z. Y" S" o& C3 |) @) npip install torchaudio-0.12.0+cu113-cp38-cp38-win_amd64.whl
- H4 i. l/ U& o! _" t: N! R& k' F
7 E& u+ O3 n  q) K! z3 H回车等待安装完成

' m! h# H$ k* W+ O* i5 cpip install torchvision-0.13.0+cu113-cp38-cp38-win_amd64.whl

8 g+ _  @) I( o) l- J' A' i" ~8 y回车等待安装完成

9 o! H4 l8 n- X; i% B9 b一共安装三个文件


+ A5 p+ Q$ \5 S5 z- E! _
为了确保安装版本的正确，可以逐条输入并回车以下代码
& G9 \+ Y  P) s9 |  U- k
2 r( a8 m- F* Z! U) a) q/ Upython
2 ]) h3 ]" _4 f9 d. i' \
import torch
print(torch.__version__)
print(torch.cuda.is_available())  
进行检验
0 |! G8 F! ^; Q/ Q: S. Q) [
2 `! o( o" P5 A& q" H3 e
如图返回True说明正确安装GPU版本torch

9 i" e6 L: c# Z. H  i$ g然后可以输入
! Y" I' Z1 w$ W- w/ w. L
* |' l! s& X8 O5 oexit()

2 z9 i0 e) q$ v8 f, S- }退出Python
% L/ }' Z. x+ m
! g8 J* c0 y; f0 e" ^7 b


! w% k- D; p3 ^. I
* G+ D3 w$ z+ \, R0 _0 aOpenVPI团队维护的DiffSinger仓库地址
$ D" \, q- y! S: V1 U
( I' O: i8 ~2 chttps://github.com/openvpi/DiffSinger/tree/refactor
& H* Q& {1 ], A/ t
  W- c1 g* C/ ~  o4 x  G（能够流畅访问GitHub的用户推荐使用git clone以便以后获得最新更新）
" s2 G1 a( a  K) ]0 i
点击code下载zip
" |/ s0 V" O8 E6 i

; u0 u: q2 _* e% C/ L1 H如果你无法流畅访问GitHub导致下载过慢，你可以右键【Download ZIP】复制链接到

! \& O: D( ?. M5 E& ?https://d.serctl.com/
! _" _( D- X% m0 V+ q
下载

" n) j7 d( X6 `& N
把下载完成的压缩包解压到任意目录（路径不能有中文）
, v+ [+ r* c) d



+ h  ?" d$ c2 p/ O7 j( d( dConda输入:

cd 你解压的DiffSinger仓库的地址
: ?6 M* l8 v, t1 ]! \7 w  h
切换到DiffSinger仓库


这里如果你解压在非C盘路径，可能会出现cd后无变化的情况
1 t' @" l( W2 g" ?+ H' }, I' a* |) m# w
1 |' Y$ o2 l9 G, {/ R6 r" S( D
# O9 R" v- c9 a# ^2 Q. d这时你可以输入对应盘符，例如
! p# W! T2 j8 l0 [! L
f:
; Z- D8 D% P4 `1 d: O
回车

*请根据自己情况操作

' O! C3 I3 a, X2 C" ~+ j; G
5 h" N6 P, \2 F0 F: l% R
, Q, s+ M$ N9 n6 D- l/ S7 q- a
然后

3 t8 Y, t, @1 t! T8 _: Rpip install -r requirements.txt -i https://pypi.doubanio.com/simple
9 M/ ^0 A/ B& [# H; b8 k) ?
% \/ U- i$ Q& ?安装剩余依赖
  i% i4 G0 R& s6 ~1 T
) g; ]5 C5 S; {" V
等待下载安装完成
# W# A1 x# w% h' X, z5 B
) P( [! k- F5 z0 X( R: {& ?& X
请确认安装依赖过程中无任何报错（大部分报错可以通过www.baidu.com解决）
* m; [! R- |6 |: F7 e- y


Part 4.推理
*这里以OpenVPI团队2022年12月04日发布的Demo视频的权重为例


# o4 C" D: I: O3 W; P7 `% P2 c下载交流群（907879266）里的1117_opencpop_ds1000_strict_pinyin.zip
; C. o* m' n% ~( O8 v, _" [

  G, U$ c' o1 R0 W- S1 b6 \解压到你解压的DiffSinger仓库的地址的checkpoints文件夹下
$ I# r- e# E' J. |
3 H/ c' z& c  J# l/ d1 v*如无相应能力请勿修改名称等

*该权重需要搭配最新公测44.1khz声码器

8 H% R: Y1 }8 Q9 ^. w3 t8 ]申请地址为
9 n8 C1 P' E  o& ^
$ `: e; J* f1 K- N$ W9 N9 qhttps://openvpi.github.io/vocoders/
  h  A" `: ^- w( k* R, c' g
/ |  ~9 y3 n( P7 K9 I6 w" K2 z申请成功后同样解压到checkpoints文件夹中
+ ~& Y  E" i$ q4 _) M/ e
4 K8 w9 n- V* k  u% h
) {" C0 L7 D$ X- |* X*如果只是为了尝鲜，请使用群内24khz模型权重

" ?/ F/ L* s6 O$ n( |- y9 O# H
下载群文件里的ds文件，出于方便可以放在你解压的DiffSinger仓库的地址根目录




7 M/ q* L6 l) I+ n然后输入

' w' ?5 K& G+ Z5 j5 apython main.py 我多想说再见啊.ds --exp 1117_opencpop_ds1000_strict_pinyin

*这里--exp用来指定模型权重，后面填你所使用的权重的文件夹名


3 s7 I( _* P' [+ Z; P) w进度条走完后音频会出现在infer_out文件夹
$ A, _5 Q; J- Q  v
$ ~" R, V0 y- n+ `( U0 u. w
, u, D) M$ {; K  `# m0 o# P+ Zmain.py可以指定以下参数
# Q" u% w- d9 p

9 x4 |3 |5 b- }! I5 ?% T) v7 I5 h# d  -h              展示帮助信息并退出

, X& y9 S9 n: d% \! }  --exp         指定权重文件夹
9 J$ G8 e) J3 e& u4 v& d1 @3 Y% y" ?
* g4 _8 E1 H" {6 |( J6 M  --out          指定输出文件夹

9 i; U! N9 ~* Z5 z8 q1 R  --title          输出文件名

' U- }' i& x* p3 r& P! f# S/ o  --num        一次运行渲染次数
/ i* B5 w5 \9 W1 N3 s4 G/ l5 `
  --key          变调（半音）
& y0 N7 M8 F' K; k- T' V0 d
  --seed        指定随机种子

+ K3 h: w3 K( w- M+ [( O' G* l" O  --speedup  PNDM加速倍速（默认10倍，不建议过高）

% i2 r* H1 F/ b" j3 E! B1 M7 \; `  --pitch        指定音高（截止教程编写时已经废弃）

  --mel           保存梅尔谱而不是WAV文件
# h( Z4 D/ m- ^! Q5 V+ ^
! S! @$ o7 `; i. A* e: g0 i: _
7 |* v) T6 q4 w. L( }训练部分将在DiffSinger使用教程（暂行版）（随时可能要过期版）（二）中更新

因为代码迭代很快，请以最新仓库信息为准


9 E! G. E2 ]2 w* y7 y参考文献：《DiffSinger: Singing Voice Synthesis via Shallow Diffusion Mechanism》，第一作者浙江大学刘静林 文献下载地址：https://ojs.aaai.org/index.php/AAAI/article/download/21350/21099

DiffSinger原作者的官方仓库：https://github.com/MoonInTheRiver/DiffSinger

OpenVPI团队的第三方fork仓库：https://github.com/openvpi/DiffSinger

@深夜诗人编写的SOVITS和Diff-SVC教程：https://www.yuque.com/jiuwei-nui3d/qng6eg

: r) h6 [3 c! d9 n- gDiffSinger社区声码器企划：https://openvpi.github.io/vocoders/

) Q8 G2 B1 [0 ~8 C. @6 ^DiffSinger交流群：907879266

5 l; @! l: O- V6 { 作者：孙飒_TS https://www.bilibili.com/read/cv20356716 出处：bilibili
- m. h" z9 C, L
9 Z7 c  m+ V. n+ a

sd4859171

下载到了我需要的文件

邋遢lata

气氛不算太好，不过也可以

0000

论坛OK

wjswzj0

资料不错

zbaba

可以解决了我的问题