Dont treat Leaf as a toolbox, be clever about that.

科研 · 07 Dec 2022

Leaf 学习

leaf是一种新的PCEN(Per-Channel Energy Normalization)。整体结构包含：

filtering
pooling
compression/normalization

更改链接：

经过Leaf特征提取之后： $\mathbb{R}^{T} \rightarrow \mathbb{R}^{M \times N}$ 。将1D的wav形式的文件提取为2D的特征空间里。M代表时间帧数（小于时域T），N代表特征的通道。

filtering:可学习前端的第一块将x作为输入，并使用一组复值滤波器计算卷积 GABOR 1D-CONVOLUTION:Gabor滤波器是通过用正弦信号调制高斯核来产生的。
Gaussian lowpass pooling：首先，我们通过深度卷积实现低通滤波，使得每个输入信道与一个低通滤波器相关联。因为可学习前端中的每个信道都具有不同的带宽，并且可以为每个信道学习特定的低通滤波器。其次，我们将这些低通滤波器参数化，以获得高斯脉冲响应：我们可以学习每通道低通池函数，同时只向前端模型添加N个参数。我们用0.4的带宽初始化所有信道，这给出了接近mel滤波器组使用的Hann窗口的频率响应。hann window 海宁窗；

3.sPCEN:compression/normalization：Instead, in this work we learn channel-dependent smoothing coefficients sn, jointly with the rest of the parameters. We call this version sPCEN.