DiffSinger使用教程 介绍 下载 （随时可能要过期版）（一）

admin

*本教程默认使用由OpenVPI团队维护的仓库

Github： https://github.com/openvpi/DiffSinger/tree/refactor

6 s/ c% O, {- e# Z; T2 L4 Q; X*本教程参考了@深夜诗人 为Diff-SVC和SOVITS写的教程

+ X8 k3 Y2 i: I1 V5 Uhttps://www.yuque.com/jiuwei-nui3d/qng6eg
1 P8 a; o$ B  N1 x" `
" Z0 g4 A2 Y& L' I/ S- v2 k$ ^* Z*受限于编辑次数，最新请访问

8 t% t6 ~/ D% U! p; o1 ]  K5 x: ?# vhttps://www.yuque.com/sunsa-i3ayc/sivu7h
2 g$ G5 @7 x# o
Part 1.设备准备
一、硬件要求

模型分为数据集处理、模型训练、模型推理三部分
# R$ X5 Y" S/ A. S* \
*由于标注还在高速迭代中，暂不提供数据集处理部分内容，本教程默认使用OpenCPop数据集（出于协议原因需要自行到https://wenet.org.cn/opencpop/申请）


3 f& a5 t$ N2 t- ^$ v/ V0 S& @
1.模型训练：
3 H6 C. J# m" E1 u3 R
' Y* s7 @; _$ \: [( z, |要求6G以上显存的显卡（需要修改参数，不建议），常用服务器的V100（32G显存）、A100（40G或80G显存）等（Colab或自行找平台租用）

Q：xxx平台能不能用？
+ Q. {$ n3 Y) k: b5 ]: |% b
A：GitHub的代码一般Linux平台可用，训练不建议使用Windows

$ s! \- g% @9 n" R" T' c6 j2.模型推理：

# K7 U/ i* z8 s1 C' j# q实时速度指电脑每秒可以使用模型处理n秒的音频，如4分钟音频耗时1分钟处理完毕，实时速度为4x

, E4 ?& j5 g0 }8 _. N% f1 z加速推理为（部分！！！）模型自带功能，同硬件下牺牲音质，提高推理速度

2 `4 }8 i0 S8 U  V# |. [: Q以i5-8300H为例，CPU的实时速度约0.1-0.5x，3分钟歌曲转换耗时5-30min不等
# E( T" T) F7 n
/ A0 I* \2 l: w- g9 M( _& G以1060-6G为例，GPU的实时速度约1-10x（取决于不同模型和加速设置），3分钟歌曲耗时30s-5min
9 b. x# H1 p. |5 Z8 [
! q8 r! N% q. M+ G# z& J& U. ]( V因此推荐非NVIDIA显卡或显卡性能较差用户使用Colab进行推理（需要能正常访问Google）
! ?' U: S! o3 S/ L* y9 h6 h+ B
https://colab.research.google.com/drive/121Bb5yos7O05kqs-gwOZAB8-UMBVy0hN

( |8 i  g: |, K+ P9 s& E$ W9 c0 `
: h2 p4 ~) v3 o6 k
Part 2.环境前期准备
*教程只在Windows 11 22H2下Python 3.8环境进行了测试，用于Windows系统下本地推理。

一、Anaconda安装（你也可以使用自己喜欢的其他程序）
. @- o+ k8 g; U2 @; s2 K- u
% t# }; }: O7 ?- I0 s4 Z, [* y! p清华源：https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/?C=M&O=D

$ ~! _. `- y- b& I0 U( x（目前访问可能下载较为缓慢）
) |( R: S/ O; N% P( r; Z7 L
* Z% c6 u8 g/ V# V1.下载Windows64版Anaconda

! \( D; E& ^9 ^$ Y. ]/ u6 N; o# O
) F% G( J$ y+ `* `1 q. ]4 ~3 a  q
Anaconda下载
2.默认安装在C盘即可

! q  D5 i( K0 J$ w/ f! W安装时记得勾选：
" ?5 i6 o/ T, j0 e; J; d
$ h0 S% z+ P9 g- d% Q把Anaconda加入系统环境变量。
; ~. y) A: K& ~% X把Anaconda加入系统环境变量。

3.在开始菜单找到Anaconda的命令行打开

. [7 y; G/ a. i, x在开始菜单找到Anaconda的命令行打开
2 ]' s# ?& C( U. M5 N8 ]* V1 S命令行
二、Anaconda的换源

+ R% ~+ O* P& k! ?1 f1.在命令行界面输入：

7 B' T/ q+ _1 c; Hconda config --set show_channel_urls yes

: S* ]$ p* f9 Z5 j, u' x按下回车键

2.接下来打开我的电脑

进入C盘\用户\你的用户名文件夹，也就是C:\Users\xxx
& U% Q* }- p" |
xxx是你的用户名

3.找到名为：.condarc的文件

用记事本打开
0 ]0 V9 i  ?* |2 a
7 \- S1 e7 q& v0 k2 S. b: s4.删除里面原本的内容

& S* W$ q6 T& f" ]将以下内容复制粘贴到里面点击保存

% r) a. k* c( f6 B: ?+ Echannels:

- https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
4 D, l, X# W  |% K+ E8 ^4 ]+ X
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/menpo/
6 f, Z- Q2 a# ?
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/bioconda/
2 g7 L0 A( h: G5 D$ _' ^
3 G4 [5 f. A7 t9 I" o- }- https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/msys2/

- https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
8 ~* C. g5 H% A) |  E
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/

( ^0 V( e+ Z3 w! {2 }& B' V- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/

, W! a" M% q  v7 [+ F/ K- defaults

" s* ^' T6 X, n/ A' _, n: l' Ishow_channel_urls: true
) }( b4 `7 m, l2 L+ I" p0 L) {
  G( O) C' }* Y) A$ F: s* ddefault_channels:

- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main

- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r

$ o0 w4 m; ]  O- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2
/ ]7 H: Z! ]3 F# Q* ~
# Y) R: z- q$ [! b  _custom_channels:

conda-forge: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud

$ f  ?! S; D+ e6 ]/ zmsys2: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
( Z. w3 |; ^& M9 ]8 G- m
bioconda: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud

, c! Q" O8 _5 Q) qmenpo: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
& Q0 F- w+ Q1 e/ T( c6 n3 I2 M
9 V( U1 N9 U" h1 K$ s' Bpytorch: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
3 N3 e$ m4 X& m$ V; |, `6 V. g
  M6 Y: M1 [, t( O. r" G5 Vpytorch-lts: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud

" T. ^( v' n+ O$ {, lsimpleitk: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud


* @+ }+ i  m$ |, s/ n就像下图这样：
3 i. i% G$ }1 v4 T, R, T
如图
/ a7 }- K% x+ K# ]9 T三、Conda换豆瓣源（如果清华源过慢可以尝试逐条输入并回车）
  b: Z3 s. I% H' Y; ]9 D
4 |+ q& R- @7 `* R' n) G6 A4 Nconda config --set show_channel_urls yes
+ r0 g$ S+ [6 x3 h6 X; ~- O! H$ [
conda config --remove-key channels

conda config --add channels https://pypi.douban.com/anaconda/cloud/conda-forge/

7 K$ q# W& a9 C, X4 ~% s" Wconda config --add channels https://pypi.douban.com/anaconda/cloud/msys2/
* H" g. ]- d7 U. n2 X$ `! E) R
4 H  z# `* y3 U2 Yconda config --add channels https://pypi.douban.com/anaconda/cloud/bioconda/
5 @) o( K( K+ v
conda config --add channels https://pypi.douban.com/anaconda/cloud/menpo/
( S. s8 @# @* M
conda config --add channels https://pypi.douban.com/anaconda/cloud/pytorch/

- `) w" ]* u" k
Part 3.推理环境配置
为了避免和其他项目产生依赖冲突，我们需要为DiffSinger项目创建一个虚拟环境，该虚拟环境通用于接下来所有DiffSinger相关教程。

3 `7 d9 u4 [. A一、创建个Python 3.8的虚拟环境

1.输入：
& P; I& v( g2 q8 F6 |
3 W: t/ `. o: |* ]& ~/ qconda create -n diffsinger python=3.8
& ^$ }. J- o2 J& e( z: V3 ~
按下回车键 ，diffsinger是虚拟环境的名字可以换成任何英文和拼音名，只要你记得住就行。

+ b" j5 H4 C. y  R1 H
# I* f- j8 u% G/ j等待conda查找所需组件，完毕后会显示下图内容
' |8 v! v* y: o/ Z& I
+ Y0 a" T& `/ k3 u" I
输入：

' U8 J5 S6 J" Vy
" k( I) U" b4 P, L, k0 z+ v
  T# ?( p* w( V/ h4 h0 L* b按回车键开始安装，等待下载和安装完成


2 G% P- L" y" O; g8 J7 m4 B- D
. z2 V" n2 E  D1 p  X
输入：

. Z0 o7 F0 V* m: wactivate diffsinger
# y% e- [! y: r4 G3 n0 t- |
回车，切换到刚刚创建的虚拟环境

每次重新打开conda终端都要切换到项目对应的虚拟环境,看到开头由base变为diffsinger就说明切换到虚拟环境了。


! X7 j8 \  k! N$ ?" p+ r1 e输入：

*这条代码并不适用所有人，需要根据显卡自行更改！！！

0 R5 c- l* I9 h* \0 @% @) bconda install pytorch torchvision torchaudio pytorch-cuda=11.6 -c pytorch -c nvidia

按下回车键，安装pytorch

/ X3 w9 ~: c. L! i2 S: }1 e( e: I
* Y0 e! z7 W' D" p（这里推荐根据你的显卡到官网https://pytorch.org/get-started/locally/ 下载）


3 ?- o8 {4 j7 ?* h7 R" y（查看显卡支持版本可以在命令行输入 nvidia-smi 查询CUDA Version）
4 D/ s  ?8 y- S: _

等待conda查找完成输入：
+ i+ H6 |. r, @( x( x' O* j
y

, u4 t# a: ~2 D4 B按回车键开始安装

) Y% _9 a. ?' F! [
& L: I7 ^; Z: o7 X; r; `# C+ ?5 V等待下载和安装完成

' o9 \& {9 E& L/ k, u! g) Y: h
P.S.
) }: x, r, _' s( _* p
Q:我的显卡显示CUDA Version低于11.6（可是显卡型号很新）怎么办？
1 P9 I- }& g4 X1 s
A：如果更新到最新NVIDIA显卡驱动后仍无法在官网找到对应版本下载，可以输入

, q, Z% Y0 W/ f8 A( G- Bconda install pytorch==1.12.1 torchvision==0.13.1 torchaudio==0.12.1 cudatoolkit=11.3
8 t# S) J+ p+ H
/ \* w& L1 L* T* J& c) {. y: E下载11.3版本的Pytorch（再低就不建议本地推理了，可能不一定有CPU快）

+ {, n- I+ u4 a5 s# zP.P.S.

Q：conda安装torch时候太慢了怎么办？

9 x3 p: y" g$ l$ W- [$ k8 gA:可以下载群文件的torch.zip压缩包，解压到任意目录
% ]' A5 _3 [% l1 ]
% H( O' t6 `8 L& r: E8 D0 |
( Q1 [! [9 |8 gconda输入：

activate diffsinger
5 {1 k7 s/ I' p) u/ `" a
& a; o4 m8 A! V. a9 S切换到对应的虚拟环境（自己更改的命名）
: o8 Q$ g. V6 X1 `8 O. [, h$ I
conda输入：

' ]4 M: m  N, Z) C* P- M5 dcd 解压的目录地址
6 b1 L( i; B, c6 w6 a% w
回车键切换到解压的目录（是你上面解压的目录）
% g! o5 I# O0 I7 u0 t
这里如果你解压在非C盘路径，可能会出现cd后无变化的情况
% w  j1 u# [: }5 j8 N8 q, E
6 |7 r( I9 R7 S% ~
这时你可以输入对应盘符，例如
( o. a& O" j$ T( s$ L# H/ a6 L9 z1 I
& V# [1 F9 l9 c2 [" P6 j$ Pf:

: n$ F* n* u6 L7 G回车
# {  v3 ~* b( L# A4 c
9 w1 D  X, k# Y: C0 ~/ C*请根据自己情况操作
. J, V! [. ^9 a, x" Q3 \! i* \
) Z; |: \6 G6 Z; V7 k7 b
conda输入：

pip install torch-1.12.0+cu113-cp38-cp38-win_amd64.whl

) a' e. G0 }. ?: P/ G回车等待安装完成
& L$ M# ]& D/ M1 x: N
# m  T2 S( h7 H9 U* x  Y) k8 }pip install torchaudio-0.12.0+cu113-cp38-cp38-win_amd64.whl
# \3 A0 ^; ^* H
回车等待安装完成

pip install torchvision-0.13.0+cu113-cp38-cp38-win_amd64.whl
& w6 E3 h7 o' d, ^+ |5 y1 j9 p
回车等待安装完成
. I1 M% V9 g' K7 l5 o3 Q
. d  I$ ~5 Z1 u& G一共安装三个文件

, e2 {' |* V& C' Z) G' w
: v! p. C& k! A+ }* @' c
为了确保安装版本的正确，可以逐条输入并回车以下代码

4 M- D2 }; S+ T: }; P$ ^python

import torch
3 |& l3 w/ E$ g' x4 ]% Eprint(torch.__version__)
print(torch.cuda.is_available())  
进行检验
; s3 t* C: a% w* q# ]: c
2 s2 A* g$ Y2 A  W$ V8 ]/ [
% Z1 G- l, _2 t% y6 y* S8 {3 J如图返回True说明正确安装GPU版本torch
$ k  ?( L; K5 G( g3 }0 d- t
然后可以输入
3 Z: g6 k9 z/ \2 B1 C0 Y8 n- j
exit()
# j2 g, Z% N; p. d& I2 t4 ^
7 D4 J7 Q, j+ M4 i- w- h" ]退出Python



0 q* T, @; g9 q- m8 ~$ f

% A; `- o6 i$ g7 sOpenVPI团队维护的DiffSinger仓库地址
, q& h' m$ ?# e  W. b4 T
/ b+ y' e, R7 X- S: _# Z) }4 }https://github.com/openvpi/DiffSinger/tree/refactor

3 a( p  \$ r- d（能够流畅访问GitHub的用户推荐使用git clone以便以后获得最新更新）

6 |% Q( t7 e( l/ ~6 A9 I( ~点击code下载zip

7 ]: |5 L1 S. N4 g  t1 O
如果你无法流畅访问GitHub导致下载过慢，你可以右键【Download ZIP】复制链接到
" H: ^; v- t% r/ v" l" j2 r
, N' }+ `3 N1 c3 l: |https://d.serctl.com/
3 `6 O- p5 M3 `# `
" U$ h+ n( J3 f4 @; W5 n下载
& d+ Q" g( t! @3 z# v% S7 g7 I

! j. L$ a% W( }6 p9 v把下载完成的压缩包解压到任意目录（路径不能有中文）

- i( |  v* A1 Y2 O* y

  [( v: w: p- i
Conda输入:
3 M$ A5 \$ t; S5 q, E" X7 ]) m
! ?% x) k$ w$ r# R! Pcd 你解压的DiffSinger仓库的地址

) a# Y0 d3 [2 r0 Z切换到DiffSinger仓库
: `) @3 q  Z  S0 m( {5 O

( ~4 C1 A" K  k" \& Y* h4 E这里如果你解压在非C盘路径，可能会出现cd后无变化的情况
. j3 _- g1 v4 V6 N& B6 I- o
8 `( ]) d- ^8 P
$ c) [0 @, L" Z7 `这时你可以输入对应盘符，例如
9 F8 v+ x; f1 g( W  D# c
f:

回车

*请根据自己情况操作


: ]6 d, v" Q' ^* R" P

3 S6 b' O2 X4 ^* O然后

pip install -r requirements.txt -i https://pypi.doubanio.com/simple

. c9 |4 l9 C& \3 ]' \; ?安装剩余依赖
, k9 ^1 n. e3 `' P+ _3 t7 w
7 \0 t& h3 M/ }- Y/ [8 w% a' L  I
) e8 D* |2 i4 S$ w" U) D" @% z$ i3 t5 O等待下载安装完成
/ ^% v  e3 g3 {/ v+ \: W9 A

: W4 G( l) n2 [* n0 w3 X请确认安装依赖过程中无任何报错（大部分报错可以通过www.baidu.com解决）

9 q# T2 `' {; ~9 k1 D2 }2 F
/ }5 p9 i7 g2 b9 \- s
; N3 C# S  i5 N- I5 I7 q+ u; K7 hPart 4.推理
) k0 o; i( c! Y& ]  Q*这里以OpenVPI团队2022年12月04日发布的Demo视频的权重为例


  @8 a- V' d6 V2 O, q下载交流群（907879266）里的1117_opencpop_ds1000_strict_pinyin.zip


解压到你解压的DiffSinger仓库的地址的checkpoints文件夹下
% f/ P& E* c* K1 T( \; o* \6 j
*如无相应能力请勿修改名称等
+ q- t+ ~9 V- A' H7 \! i
*该权重需要搭配最新公测44.1khz声码器
& L9 p$ q2 j3 ~0 O5 J6 g
$ w4 w8 s/ J3 L9 k; p申请地址为

, I% J, w6 O) s: k. p6 w6 ^& Ihttps://openvpi.github.io/vocoders/

申请成功后同样解压到checkpoints文件夹中
5 w& _! o2 J# X- A5 T
6 r8 l9 E% {; B5 g- ]6 B
*如果只是为了尝鲜，请使用群内24khz模型权重
# g. u, a( U; t8 {# G" P1 P& i' P

下载群文件里的ds文件，出于方便可以放在你解压的DiffSinger仓库的地址根目录
. w8 x7 ^# D3 ^8 r% ^
5 [& F$ t) c1 G2 T


$ }7 |; V3 ~" v; r然后输入

6 B* X6 j1 g- P' F+ W  spython main.py 我多想说再见啊.ds --exp 1117_opencpop_ds1000_strict_pinyin

& ?4 I9 j; t$ G# a2 j- s8 {*这里--exp用来指定模型权重，后面填你所使用的权重的文件夹名


进度条走完后音频会出现在infer_out文件夹
, M0 i1 u2 b  C/ \, N  q2 _

5 z1 t! D. s  s2 |# Wmain.py可以指定以下参数


  -h              展示帮助信息并退出
, m5 t. v  J$ B, l" |& s. s6 }
  --exp         指定权重文件夹
+ p" }; E; b8 `7 G7 R5 z5 g( `
  --out          指定输出文件夹

  --title          输出文件名
) Y" R8 ~: G4 Y4 k
  --num        一次运行渲染次数

  --key          变调（半音）

; H3 N' S; b- J  --seed        指定随机种子
, t2 V/ G9 @& @% o* y
2 x% C! l8 R$ Z3 z; M( B  --speedup  PNDM加速倍速（默认10倍，不建议过高）
; A& ~0 ~8 w& U3 \, O
  --pitch        指定音高（截止教程编写时已经废弃）

  --mel           保存梅尔谱而不是WAV文件

% Y' U: l0 H4 t: N
训练部分将在DiffSinger使用教程（暂行版）（随时可能要过期版）（二）中更新

( ]' `. k; w: P2 n因为代码迭代很快，请以最新仓库信息为准


参考文献：《DiffSinger: Singing Voice Synthesis via Shallow Diffusion Mechanism》，第一作者浙江大学刘静林 文献下载地址：https://ojs.aaai.org/index.php/AAAI/article/download/21350/21099
) N$ X1 r% y& e  v- y. @
2 p" r# q$ w5 K5 u7 ~DiffSinger原作者的官方仓库：https://github.com/MoonInTheRiver/DiffSinger

OpenVPI团队的第三方fork仓库：https://github.com/openvpi/DiffSinger
; L8 t6 @: N8 o: U4 S% h
@深夜诗人编写的SOVITS和Diff-SVC教程：https://www.yuque.com/jiuwei-nui3d/qng6eg

DiffSinger社区声码器企划：https://openvpi.github.io/vocoders/

+ T  [* y) o" a1 }9 ?9 @4 `DiffSinger交流群：907879266
$ D; i3 Y  U' t9 Q; S
作者：孙飒_TS https://www.bilibili.com/read/cv20356716 出处：bilibili
* c& v! S. u( J  [( K% u$ {2 Z/ S) X, p( v
6 F- y% R0 G* x" N4 i6 s

sd4859171

下载到了我需要的文件

邋遢lata

气氛不算太好，不过也可以

0000

论坛OK

wjswzj0

资料不错

zbaba

可以解决了我的问题