DiffSinger使用教程 介绍 下载 （随时可能要过期版）（一）

admin

*本教程默认使用由OpenVPI团队维护的仓库
8 J$ a' ^1 z. K1 C* v2 M
0 w; V8 V4 n# w8 q1 k4 |Github： https://github.com/openvpi/DiffSinger/tree/refactor

, x1 s7 c; j0 V+ F; v+ g6 y* w*本教程参考了@深夜诗人 为Diff-SVC和SOVITS写的教程

https://www.yuque.com/jiuwei-nui3d/qng6eg
- q9 I% P, ~0 }
*受限于编辑次数，最新请访问

3 b; j$ i& Z3 ~- C) r# U( i# w! O% xhttps://www.yuque.com/sunsa-i3ayc/sivu7h
8 o/ c. T- d/ [+ F6 L9 ~
Part 1.设备准备
一、硬件要求

模型分为数据集处理、模型训练、模型推理三部分
% P. S/ u; L1 d
*由于标注还在高速迭代中，暂不提供数据集处理部分内容，本教程默认使用OpenCPop数据集（出于协议原因需要自行到https://wenet.org.cn/opencpop/申请）

/ U  E& D6 h+ L$ D/ H% s# ^
0 A" f$ O) P8 O9 E6 \, j* t
/ w1 i: p% a8 I0 Z/ S/ ?* C1 S1.模型训练：

要求6G以上显存的显卡（需要修改参数，不建议），常用服务器的V100（32G显存）、A100（40G或80G显存）等（Colab或自行找平台租用）

$ J  S% {6 X6 F( M, h0 E' MQ：xxx平台能不能用？
$ H5 [8 [* W% S$ Q' k
/ s3 O) P! I9 a) F9 r9 ~A：GitHub的代码一般Linux平台可用，训练不建议使用Windows

" t- Q! `8 J. F1 k; X2.模型推理：
: u' v, H5 l: k5 K# c- N
实时速度指电脑每秒可以使用模型处理n秒的音频，如4分钟音频耗时1分钟处理完毕，实时速度为4x

' O7 f  f- Y! `+ }6 H7 k+ B; {加速推理为（部分！！！）模型自带功能，同硬件下牺牲音质，提高推理速度

8 J) W' H6 r, I% {以i5-8300H为例，CPU的实时速度约0.1-0.5x，3分钟歌曲转换耗时5-30min不等

/ x4 H8 [' L: j0 P) F9 \+ @以1060-6G为例，GPU的实时速度约1-10x（取决于不同模型和加速设置），3分钟歌曲耗时30s-5min

. K0 o/ @" }" Z# ]因此推荐非NVIDIA显卡或显卡性能较差用户使用Colab进行推理（需要能正常访问Google）

https://colab.research.google.com/drive/121Bb5yos7O05kqs-gwOZAB8-UMBVy0hN



- N# [0 x1 v$ b1 O$ c3 \6 JPart 2.环境前期准备
*教程只在Windows 11 22H2下Python 3.8环境进行了测试，用于Windows系统下本地推理。

6 r, ]7 S3 S4 N9 M3 L/ L: o一、Anaconda安装（你也可以使用自己喜欢的其他程序）
) h6 F4 R; l7 x' a2 W/ x: U* E
清华源：https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/?C=M&O=D
& B  ~/ M  T8 D! e1 l6 C
（目前访问可能下载较为缓慢）

+ U/ H( O4 k, S2 v4 i* |9 f1.下载Windows64版Anaconda
6 W; w( x0 c7 @* V
2 a: [  O& G) u1 Y0 ^. x

8 a- ^$ r  m& L, CAnaconda下载
' O" w* ?* X6 `: w2 {( K! B2.默认安装在C盘即可

安装时记得勾选：

把Anaconda加入系统环境变量。
, y5 V8 q: {& E( C: D! O把Anaconda加入系统环境变量。

3.在开始菜单找到Anaconda的命令行打开

7 z: E, y7 ^/ `5 m在开始菜单找到Anaconda的命令行打开
命令行
二、Anaconda的换源
! S3 ~6 g5 a* D; F3 o
3 Q" V, {5 v1 z& P* @3 Q( F1.在命令行界面输入：

, c5 S; P& v! P( R6 ]# V0 rconda config --set show_channel_urls yes
  m) i8 Q' V; \! v( p9 q
& t# d5 b) H- K# P; r1 T& M9 E按下回车键

2.接下来打开我的电脑
% Z5 L& z0 m6 D+ u# `3 n
& @: f1 p$ Z9 ~* i, [2 j2 |1 n进入C盘\用户\你的用户名文件夹，也就是C:\Users\xxx

3 g# f1 Q1 ?% m3 p$ t- C: rxxx是你的用户名

3.找到名为：.condarc的文件

: ~; b; v+ z+ X用记事本打开

6 p% N2 P, S. v- V( ^7 H) i4.删除里面原本的内容
  A8 m* ]( O# U
& d6 b9 O( o' h7 Y2 u/ V将以下内容复制粘贴到里面点击保存

& J  A3 S- Y6 e( gchannels:

1 Z) H, y' }0 F1 m# y3 _- https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/

) c" E; z, J2 l0 {  n8 d- https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/menpo/

- https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/bioconda/
6 V" f5 e2 ]! k+ L3 X$ B7 Q3 H+ k3 s: b3 ~
. O6 ]* c% D0 G4 T& }/ ]- https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/msys2/
) V2 }/ u2 \0 V/ R2 w
5 S0 H/ D- M+ m6 c/ E5 c& ]5 s; C- H9 F- https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
: Q# b  O. \# e/ t; E/ M9 X6 ?3 k
, R! D6 [" a$ p9 ^- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
! x7 X& U& Q7 L9 Q$ y& @
# I0 o; K: }1 N% r" X* g- q- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
4 i/ ^+ _+ R9 u+ x4 p* V7 v' @/ M- A
+ V, h. I6 M4 B- defaults

show_channel_urls: true

default_channels:

- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main

- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r

- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2

" J# T& g3 ]4 R4 C8 H5 Q2 N9 Tcustom_channels:

conda-forge: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
( @! n1 r2 J0 P" g' J
. _1 E; V+ }! Z" Wmsys2: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud

! K6 @3 g$ W( `* r! W5 _7 jbioconda: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
) o# o5 E! G6 }3 `3 f9 N$ k' M
menpo: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud

, r2 n) C0 T' O& S, apytorch: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud

pytorch-lts: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
2 |6 r9 y$ A) h) n# |  f
simpleitk: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  ]$ g$ b1 H% u# z! p: k/ X  f
# ^6 ]3 i2 b4 j2 {# Z4 E' u5 h7 b& V
8 j& ^; @& Q8 v% y* x& J& Y就像下图这样：
; p' z7 Z  t' K$ n; A
6 _6 M: D& p. U) s如图
; {/ N# |- o" v' o三、Conda换豆瓣源（如果清华源过慢可以尝试逐条输入并回车）

conda config --set show_channel_urls yes

# n9 x6 o$ x! Z& L/ s3 m0 sconda config --remove-key channels
7 G9 n; t+ Z" n
conda config --add channels https://pypi.douban.com/anaconda/cloud/conda-forge/
# H1 b4 d5 a* ]& U3 Q- U
9 q1 I6 [+ r2 y/ i5 R2 G1 H" Pconda config --add channels https://pypi.douban.com/anaconda/cloud/msys2/

conda config --add channels https://pypi.douban.com/anaconda/cloud/bioconda/

( b, L! R2 U+ A# T8 Z/ tconda config --add channels https://pypi.douban.com/anaconda/cloud/menpo/
5 S% {+ i" m/ I0 \: g8 l( ~
conda config --add channels https://pypi.douban.com/anaconda/cloud/pytorch/

8 O$ p2 \* s& `3 g2 }; D
, A4 f8 a$ t1 H9 k! h' w( TPart 3.推理环境配置
3 ^3 S+ A4 M5 s8 c# F为了避免和其他项目产生依赖冲突，我们需要为DiffSinger项目创建一个虚拟环境，该虚拟环境通用于接下来所有DiffSinger相关教程。
1 y6 `1 ^! I" X- f. l- F
6 F( O9 g8 d2 s一、创建个Python 3.8的虚拟环境
. d; R$ t9 `* `. r- I* B# {% j
) P5 Z4 j, N1 D4 T# \8 `1.输入：

conda create -n diffsinger python=3.8
' T- y/ {! R* |+ t/ q# r, v
( ~" N& c+ n( l( I- Y# ~按下回车键 ，diffsinger是虚拟环境的名字可以换成任何英文和拼音名，只要你记得住就行。
# d: O# w: D+ k/ n, D
: d2 G* f9 ?& D! ~: A5 A
等待conda查找所需组件，完毕后会显示下图内容
* @0 ]! @7 Q0 v1 U
7 A. ?* m3 N+ f( A0 o! V( H
输入：

5 i7 m2 e9 N; G  Z4 x. k- ly
" E+ A! r4 b' d. x  w; R
按回车键开始安装，等待下载和安装完成
6 x) ]0 B4 ~3 e2 F( j3 X

' G" X  ^0 z$ D" q, s2 g4 i5 f% z
4 U4 T, D( M0 s
2 L" Y2 M* l) v! m输入：

, t8 i& s# z' j4 `+ L! Qactivate diffsinger
1 \4 g# a2 k) ~/ v7 ^  Q* O$ V
回车，切换到刚刚创建的虚拟环境
+ t, \. O+ j7 N; b( a# F
' c' u( E% v5 q4 h0 M每次重新打开conda终端都要切换到项目对应的虚拟环境,看到开头由base变为diffsinger就说明切换到虚拟环境了。
5 `. z4 {* j$ @# G+ b" B
+ y% m  j+ A/ l
2 b9 M; L+ `6 L6 z- x3 U& a输入：

*这条代码并不适用所有人，需要根据显卡自行更改！！！
" {: e3 L: ~# ~- T7 l2 c
conda install pytorch torchvision torchaudio pytorch-cuda=11.6 -c pytorch -c nvidia
- q1 a1 I# L9 T6 _( j& U2 @
. p8 [) ?! i7 ?* `5 S2 @% L8 x# A按下回车键，安装pytorch


（这里推荐根据你的显卡到官网https://pytorch.org/get-started/locally/ 下载）


7 `9 J# p$ ~3 |, b7 b/ s  M（查看显卡支持版本可以在命令行输入 nvidia-smi 查询CUDA Version）
: R* ^0 R  n% Y. t+ J: Q

等待conda查找完成输入：

y
/ V* t2 \3 L6 z. d
/ Z7 B  j4 m1 y3 X& c0 w& l/ G按回车键开始安装
+ t# O) ^6 P6 F& h
7 ^$ E- }0 l; n- U
等待下载和安装完成

: U8 K3 }4 H* k" X# V
P.S.
- Y- }  }# N9 ?+ s: P( e% Z. m
Q:我的显卡显示CUDA Version低于11.6（可是显卡型号很新）怎么办？

3 @( z- W4 [8 hA：如果更新到最新NVIDIA显卡驱动后仍无法在官网找到对应版本下载，可以输入
( y/ }7 ^' c) t3 r& ]
conda install pytorch==1.12.1 torchvision==0.13.1 torchaudio==0.12.1 cudatoolkit=11.3

下载11.3版本的Pytorch（再低就不建议本地推理了，可能不一定有CPU快）
! r. j& a' R& r5 M0 u: v- M
% R0 M2 n$ {; }) MP.P.S.

; s# g% S* _, ^. Y2 nQ：conda安装torch时候太慢了怎么办？
1 C7 p+ R, e" c: D; s
) s8 U8 a$ n0 z; a* F" K1 UA:可以下载群文件的torch.zip压缩包，解压到任意目录

  f( w! j/ Z- N+ z% K7 K- R
conda输入：
: ?, d8 z; |' ~# q( T: O8 }
0 z/ a3 V: {$ M* Wactivate diffsinger

3 S* u& w8 b: B; M  T5 t% d切换到对应的虚拟环境（自己更改的命名）

" N5 @/ Z" F  B0 E  tconda输入：
  }  \- b  P& N$ q. j
cd 解压的目录地址

回车键切换到解压的目录（是你上面解压的目录）

' C( y# Z8 Z" l7 N) j/ a这里如果你解压在非C盘路径，可能会出现cd后无变化的情况

- `3 ~% L/ V" Y$ `
这时你可以输入对应盘符，例如

f:

回车

. R( N5 a  O3 N*请根据自己情况操作


conda输入：
/ ~8 b/ L3 H3 g  v. ~" S, _
% A, @, n- h8 M4 y' s! cpip install torch-1.12.0+cu113-cp38-cp38-win_amd64.whl

& s2 s3 x, t' H" ~回车等待安装完成
- [% R' S5 f0 H- Z* N
pip install torchaudio-0.12.0+cu113-cp38-cp38-win_amd64.whl

. A/ M. ?3 f1 h+ \回车等待安装完成

2 w+ b6 q/ T: A9 ]8 q. a0 _pip install torchvision-0.13.0+cu113-cp38-cp38-win_amd64.whl
. Q" T. A2 i6 W8 m. L/ l
回车等待安装完成

一共安装三个文件


+ A( C( A& K3 E0 m. r
8 ]5 w% Z' l1 `, h2 {' q. d为了确保安装版本的正确，可以逐条输入并回车以下代码

2 u. Y) M9 C) k# Dpython

import torch
print(torch.__version__)
7 Z2 _0 h- o" w6 c* H6 y0 Q5 Gprint(torch.cuda.is_available())  
进行检验
5 O/ |# G$ z3 @- y9 V3 |& Y0 [. b6 w* d

如图返回True说明正确安装GPU版本torch

  E# m+ ?+ W, t1 {然后可以输入

" j' a& z+ \, u5 S( Xexit()

! w7 X9 r' n' [5 X1 K; n) ?退出Python

* p) R& o7 a5 e+ @
  n# N) [$ a+ z8 c: J8 d, U


OpenVPI团队维护的DiffSinger仓库地址
' g2 \; b' p; _! W9 k, A
https://github.com/openvpi/DiffSinger/tree/refactor
9 p/ I+ h4 n6 }  _
$ Q  t, d6 h0 g* T$ h. U（能够流畅访问GitHub的用户推荐使用git clone以便以后获得最新更新）
) @- @7 C5 J. o
点击code下载zip
( G( T" W7 q- D' t( c* z* d6 O

5 D! y8 `' u+ n如果你无法流畅访问GitHub导致下载过慢，你可以右键【Download ZIP】复制链接到

, X; V3 t# B" g) khttps://d.serctl.com/

0 e. Q  V6 m- I! S/ [1 T" b3 X下载

% O: i+ v2 c3 a+ x
把下载完成的压缩包解压到任意目录（路径不能有中文）

9 r  x! z0 n: ]) q2 H! V* L$ C. i

* X+ }* Z! l3 }, d. c& M
0 a$ G5 r5 h1 Q! MConda输入:
$ t: ?! Q: _$ ~
cd 你解压的DiffSinger仓库的地址

切换到DiffSinger仓库
6 |8 Z8 G  I& k- x: e$ X5 j
: A( M, e2 B8 F, ~! Q) J+ ~
这里如果你解压在非C盘路径，可能会出现cd后无变化的情况

/ J* G8 M% w7 J$ x& t
  B2 |3 X0 m% [! N这时你可以输入对应盘符，例如

2 V9 w# b/ H1 R, J2 Q$ {f:
! S. k' m0 r; p7 M* G
* ^- I' @0 b1 P* v6 E3 L回车

*请根据自己情况操作




然后

6 T% q2 F. q1 N2 B6 E7 Hpip install -r requirements.txt -i https://pypi.doubanio.com/simple

安装剩余依赖

5 @9 Q$ s& k+ X. q6 u
2 Y; ?4 }% c% q& V# L- F  u+ W/ D( Z等待下载安装完成
0 D7 h. C2 _7 _' c! F$ \
# A% p; P4 k% G8 l
( N' G, Z1 Z' o7 ~请确认安装依赖过程中无任何报错（大部分报错可以通过www.baidu.com解决）
: V1 W9 V+ Y% X! S$ l

6 m, l0 _' C3 l" Q; R
' R' J4 O: K+ d! j7 p1 yPart 4.推理
+ J# j, s& t4 P8 a*这里以OpenVPI团队2022年12月04日发布的Demo视频的权重为例
' j3 C. o7 d- k2 _0 x  P2 n

下载交流群（907879266）里的1117_opencpop_ds1000_strict_pinyin.zip
/ K: ?& H- C* `

. [( t9 n2 m% C5 h! Y3 Z. J解压到你解压的DiffSinger仓库的地址的checkpoints文件夹下
) r: j' |% z, ^
*如无相应能力请勿修改名称等
# S4 q- z* N. }
, E4 g* {- _$ O5 Z% N+ ]8 B*该权重需要搭配最新公测44.1khz声码器
& _$ z) F$ p# b$ V
% V& K6 @0 Z( b! l: d/ ]5 r% o申请地址为
2 Z+ y, e6 U8 m0 @
& w5 I3 P* U. N+ Lhttps://openvpi.github.io/vocoders/
" A0 w' u1 X8 B+ U& S* H
申请成功后同样解压到checkpoints文件夹中
+ }; D4 a4 D& ?3 v! M

*如果只是为了尝鲜，请使用群内24khz模型权重


- U% }, V4 O: ~8 l( R下载群文件里的ds文件，出于方便可以放在你解压的DiffSinger仓库的地址根目录


7 i' `' n6 `7 ^$ c" k
' N: f9 f9 R2 h2 ^
# \8 w$ C" q. D! u9 }然后输入
. l) ~( L7 S1 b* M2 O; D
python main.py 我多想说再见啊.ds --exp 1117_opencpop_ds1000_strict_pinyin
" g& h' j0 Z" o' N& C0 P' i; |
*这里--exp用来指定模型权重，后面填你所使用的权重的文件夹名

" ^% b! S1 z& i" K4 |" g7 F
2 Q) S; w! Z& ?/ I* p进度条走完后音频会出现在infer_out文件夹


main.py可以指定以下参数

. }3 C8 b+ D/ x: q
1 c* k/ @3 V. g5 ?& J  -h              展示帮助信息并退出

  --exp         指定权重文件夹
5 t; \" p1 D! [- R  A7 {
  --out          指定输出文件夹

0 p# ]6 H( }# T  --title          输出文件名
6 m: r4 `5 U# z9 i) f' m2 Z
; L% w! u& h! c4 b: F, d  --num        一次运行渲染次数

! S7 q0 f2 T- T! ]  --key          变调（半音）
# _1 f( T* Y" m% e& c
- x3 |6 S5 V' k$ C. M/ E8 ~7 c  --seed        指定随机种子
( i7 I7 t: E! {2 C( `  `- i2 Y
. J! b8 F& [# C3 [7 q- L7 y  --speedup  PNDM加速倍速（默认10倍，不建议过高）

  ^- x" w: v9 }8 J* {( \3 C& T  --pitch        指定音高（截止教程编写时已经废弃）

' Y  \9 Q7 j5 }$ s  --mel           保存梅尔谱而不是WAV文件
  h9 h% C- s: I4 e

# J0 O% x+ J$ B$ u训练部分将在DiffSinger使用教程（暂行版）（随时可能要过期版）（二）中更新
  P6 g8 p- h6 W, P! Z  k. v) s; e( x
因为代码迭代很快，请以最新仓库信息为准
# H. R! I( ]9 _& [/ ?$ U8 P

7 ^* s: I% m2 x5 z* f( O% U参考文献：《DiffSinger: Singing Voice Synthesis via Shallow Diffusion Mechanism》，第一作者浙江大学刘静林 文献下载地址：https://ojs.aaai.org/index.php/AAAI/article/download/21350/21099
& W* @' l7 |8 r, {- r# O( V
/ ?7 b0 x, |8 x/ r6 HDiffSinger原作者的官方仓库：https://github.com/MoonInTheRiver/DiffSinger

6 l; z) [$ W$ L1 W% z! R3 U0 gOpenVPI团队的第三方fork仓库：https://github.com/openvpi/DiffSinger

9 q: F* j" q) b* ^5 P# c# K& C' |@深夜诗人编写的SOVITS和Diff-SVC教程：https://www.yuque.com/jiuwei-nui3d/qng6eg

DiffSinger社区声码器企划：https://openvpi.github.io/vocoders/
2 R6 |0 e3 ^% G/ D+ L! a
- b6 m3 c2 f) e9 V8 b1 m5 f3 }DiffSinger交流群：907879266

作者：孙飒_TS https://www.bilibili.com/read/cv20356716 出处：bilibili
* \  K' [4 l4 G0 H6 N
, B6 ]; O: r- A5 A2 r+ a

sd4859171

下载到了我需要的文件

邋遢lata

气氛不算太好，不过也可以

0000

论坛OK

wjswzj0

资料不错

zbaba

可以解决了我的问题