189 8069 5689
SciPy提供了firwin用窗函数设计低通滤波器，firwin的调用形式如下：
创新互联成立与2013年，先为聂拉木等服务建站，聂拉木等地企业，进行企业商务咨询服务。为聂拉木企业网站制作PC+手机+微官网三网同步一站式服务解决您的所有建站问题。
firwin(N, cutoff, width=None, window='hamming')
其中N为滤波器的长度；cutoff为以正规化的频率；window为所使用的窗函数。
《深度学习入门》（[ 日］ 斋藤康毅）电子书网盘下载免费在线阅读
资源链接：
链接:
?pwd=bhct 提取码: bhct
书名：深度学习入门
作者：[ 日］ 斋藤康毅
译者：陆宇杰
豆瓣评分：9.4
出版社：人民邮电出版社
出版年份：2018-7
页数：285
内容简介：本书是深度学习真正意义上的入门书，深入浅出地剖析了深度学习的原理和相关技术。书中使用Python3，尽量不依赖外部库或工具，从基本的数学知识出发，带领读者从零创建一个经典的深度学习网络，使读者在此过程中逐步理解深度学习。书中不仅介绍了深度学习和神经网络的概念、特征等基础知识，对误差反向传播法、卷积神经网络等也有深入讲解，此外还介绍了深度学习相关的实用技巧，自动驾驶、图像生成、强化学习等方面的应用，以及为什么加深层可以提高识别精度等“为什么”的问题。
作者简介：
斋藤康毅
东京工业大学毕业，并完成东京大学研究生院课程。现从事计算机视觉与机器学习相关的研究和开发工作。是Introducing Python、Python in Practice、The Elements of Computing Systems、Building Machine Learning Systems with Python的日文版译者。
译者简介：
陆宇杰
众安科技NLP算法工程师。主要研究方向为自然语言处理及其应用，对图像识别、机器学习、深度学习等领域有密切关注。Python爱好者。
比如采样率为22050，音频文件有36s，那么x为长度为22050*36=793800的float。
用到了python库 Spleeter
抽象地了解下原理吧
参考文章是这篇：Spleeter: a fast and efficient music source separation tool with pre-trained models
原理文章是这篇 SINGING VOICE SEPARATION: A STUDY ON TRAINING DATA
粗略扫了一眼，原理主要是用U-Net进行分割，然后这个Python工具主要是利用了一个pre-trained的model。
参考链接：机器之心的一篇文章
纵轴表示频率（从0到10kHz），横轴表示剪辑的时间。由于我们看到所有动作都发生在频谱的底部，我们可以将频率轴转换为对数轴。
可以对频率取对数。
感觉这个参数蛮有意思的
整个频谱被投影到12个区间，代表音乐八度音的12个不同的半音（或色度）， librosa.feature.chroma_stft 用于计算。
先对音频进行短时傅里叶变换
其中每行存储一个窗口的STFT，大小为1025*1551
这里要注意理解怎么基于stft的结果来画频谱图
没太了解，感觉就大概知道有这么个量可以用到就行。
librosa.feature.spectral_centroid 计算信号中每帧的光谱质心：
1. 先理解连续傅里叶变换
2. 再理解离散傅里叶变换
对连续函数进行离散采样
3. 最后进入短时傅里叶变换
是先把一个函数和窗函数进行相乘，然后再进行一维的傅里叶变换。并通过窗函数的滑动得到一系列的傅里叶变换结果，将这些结果竖着排开得到一个二维的表象。
FFT (Fast Fourier Transform, 快速傅里叶变换) 是离散傅里叶变换的快速算法，也是数字信号处理技术中经常会提到的一个概念。用快速傅里叶变换能将时域的数字信号转换为频域信号，转换为频域信号后我们可以很方便地分析出信号的频率成分。
当我们把双频信号FFT示例中的 fft_size 的值改为 2**12 时，这时，基频为 16Hz，不能被 1kHz整除，所以 1kHz 处发生了频谱泄露，而它能被 4kHz 整除，所以 4kHz 可以很好地被采样。
由于波形的前后不是连续的，出现波形跳变，而跳变处有着非常广泛的频谱，因此FFT的结果中出现了频谱泄漏。
为了减小FFT所截取的数据段前后的跳变，可以对数据先乘以一个窗函数，使得其前后数据能平滑过渡。常用的hanning窗函数的定义如下：
50Hz 正弦波与hann窗函数乘积之后的重复波形如下：
我们对频谱泄漏示例中的1kHz 和 4kHz 信号进行了 hann 窗函数处理，可以看出能量更加集中在 1kHz 和 4kHz，在一定程度上抑制了频谱泄漏。
以 1kHz 三角波为例，我们知道三角波信号中含有丰富的频率信息，它的傅里叶级数展开为：
当数字信号的频率随时间变化时，我们称之为扫频信号。以频率随时间线性变化的扫频信号为例，其数学形式如下：
其频率随时间线性变化，当我们在 [0,1] 的时间窗口对其进行采样时，其频率范围为 0~5kHz。当时间是连续时，扫频信号的频率也是连续的。但是在实际的处理中，是离散的点采样，因此时间是不连续的，这就使扫频信号的快速傅里叶变换问题退化为多点频信号快速傅里叶变换问题。其快速傅里叶变换得到的频谱图如下所示：
以 50Hz 正弦信号相位调制到 1kHz 的信号为例，其信号形式如下：
它的时域波形，频率响应和相位响应如下图所示：
以扫频信号为例，当我们要探究FFT中的能量守恒时，我们要回归到信号最初的形式：
数字信号是通过对连续的模拟信号采样得到的离散的函数。它可以简单看作一个以时间为下标的数组。比如，x[n]，n为整数。比如下图是一个正弦信号(n=0,1, ..., 9)：
对于任何的音频文件，实际上都是用这种存储方式，比如，下面是对应英文单词“skip”的一段信号(只不过由于点太多，笔者把点用直线连接了起来）：
衡量数字信号的 能量（强度） ，只要简单的求振幅平方和即可：
我们知道，声音可以看作是不同频率的正弦信号叠加。那么给定一个声音信号（如上图），怎么能够知道这个信号在不同频率区段上的强度呢？答案是使用离散傅里叶变换。对信号x[n], n=0, ..., N-1，通常记它的离散傅里叶变换为X[n]，它是一个复值函数。
比如，对上述英文单词“skip”对应的信号做离散傅里叶变换，得到它在频域中的图像是：
可以看到能量主要集中在中低音部分（约16000Hz以下）。
在频域上，也可以计算信号的强度，因为根据Plancherel定理，有：
对于一般的语音信号，长度都至少在1秒以上，有时候我们需要把其中比如25毫秒的一小部分单独拿出来研究。将一个信号依次取小段的操作，就称作分帧。技术上，音频分帧是通过给信号加一系列的 窗 函数 实现的。
我们把一种特殊的函数w[n]，称作窗函数，如果对所有的n，有0=w[n]=1，且只有有限个n使得w[n]0。比如去噪要用到的汉宁窗，三角窗。
汉宁窗
三角窗
我们将平移的窗函数与原始信号相乘，便得到信号的“一帧”：
w[n+d]*x[n]
比如用长22.6毫秒的汉宁窗加到“skip”信号大约中间部位上，得到一帧的信号：
可见除一有限区间之外，加窗后的信号其他部分都是0。
对一帧信号可以施加离散傅里叶变换（也叫短时离散傅里叶变换），来获取信号在这一帧内（通常是很短时间内），有关频率-能量的分布信息。
如果我们把信号按照上述方法分成一帧一帧，又将每一帧用离散傅里叶变换转换到频域中去，最后将各帧在频域的图像拼接起来，用横坐标代表时间，纵坐标代表频率，颜色代表能量强度（比如红色代表高能，蓝色代表低能），那么我们就构造出所谓 频谱图 。比如上述“skip”发音对应的信号的频谱图是：
（使用5.8毫秒的汉宁窗）
从若干帧信号中，我们又可以恢复出原始信号。只要我们适当选取窗口大小，以及窗口之间的平移距离L，得到 ..., w[n+2L], w[n+L], w[n], w[n-L], w[n-2L], ...，使得对k求和有：
从而简单的叠加各帧信号便可以恢复出原始信号：
最后，注意窗函数也可以在频域作用到信号上，从而可以起到取出信号的某一频段的作用。
下面简单介绍一下3种音效。
1. 扩音
要扩大信号的强度，只要简单的增大信号的“振幅”。比如给定一个信号x[n]，用a1去乘，便得到声音更大的增强信号：
同理，用系数0a1去乘，便得到声音变小的减弱信号。
2. 去噪（降噪）
对于白噪音，我们可以简单的用“移动平均滤波器”来去除，虽然这也会一定程度降低声音的强度，但效果的确不错。但是，对于成分较为复杂，特别是频段能量分布不均匀的噪声，则需要使用下面的 噪声门 技术，它可以看作是一种“多带通滤波器”。
这个特效的基本思路是：对一段噪声样本建模，然后降低待降噪信号中噪声的分贝。
更加细节的说，是在信号的若干频段f[1], ..., f[M]上，分别设置噪声门g[1], ..., g[M]，每个门都有一个对应的阈值，分别是t[1], ..., t[M]。这些阈值时根据噪声样本确定的。比如当通过门g[m]的信号强度超过阈值t[m]时，门就会关闭，反之，则会重新打开。最后通过的信号便会只保留下来比噪声强度更大的声音，通常也就是我们想要的声音。
为了避免噪声门的开合造成信号的剧烈变动，笔者使用了sigmoid函数做平滑处理，即噪声门在开-关2个状态之间是连续变化的，信号通过的比率也是在1.0-0.0之间均匀变化的。
实现中，我们用汉宁窗对信号进行分帧。然后对每一帧，又用三角窗将信号分成若干频段。对噪声样本做这样的处理后，可以求出信号每一频段对应的阈值。然后，又对原始信号做这样的处理（分帧+分频），根据每一帧每一频段的信号强度和对应阈值的差（diff = energy-threshold），来计算对应噪声门的开合程度，即通过信号的强度。最后，简单的将各频段，各帧的通过信号叠加起来，便得到了降噪信号。
比如原先的“skip”语音信号频谱图如下：
可以看到有较多杂音（在高频，低频段，蓝色部分）。采集0.25秒之前的声音作为噪声样本，对信号作降噪处理，得到降噪后信号的频谱图如下：
可以明显的看到大部分噪音都被清除了，而语音部分仍完好无损，强度也没有减弱，这是“移动平均滤波器”所做不到的。
3. 静音剪切
在对音频进行上述降噪处理后，我们还可以进一步把多余的静音去除掉。
剪切的原理十分简单。首先用汉宁窗对信号做分帧。如果该帧信号强度过小，则舍去该帧。最后将保留的帧叠加起来，便得到了剪切掉静音部分的信号。
比如，对降噪处理后的“skip”语音信号做静音剪切，得到的新信号的频谱图为：
官方文档中给出了非常详细的安装方法
函数声明：
librosa.core.stft(y, n_fft=2048, hop_length=None, win_length=None, window='hann', center=True, dtype=class 'numpy.complex64', pad_mode='reflect')
常用参数说明：
y：输入的numpy数组，要求都是实数
n_fft：fft的长度，默认2048
hop_length：stft中窗函数每次步进的单位
win_length：窗函数的长度
window：窗函数的类型
return：一个1+n_fft/2*1+len(y)/hop_length的二维复数矩阵，其实就是时频谱
参考：
主要用这两个
matplotlib.pyplot.pcolormesh()
matplotlib.pyplot.colorbar()