大数据中怎么解决长尾分布问题以及解耦类别特征并实现空间增广

长尾分布广泛存在于视觉任务中。如图所示在分类和检测任务中存在长尾分布问题。

长尾分布带来的主要问题是在训练时，因为尾部类数据量少，统计信息不够丰富，因而模型并不能很好的表达尾部类。现有的方法主要有数据增广，下采样，过采样，和平衡损失函数的构建等。但是这些方法当尾部类数量极少时，性能并不理想。如下图所示。

本文提出了在特征空间中，将头部类的信息迁移到尾部类上，具体方法如下。

本文首先用CAM方法提取注意力区域，得到每个类的类特有特征和类共有特征。之后将尾部类的类特有特征和头部类的类共有特征进行融合。

首先来介绍一下CAM（Class Activation Map）。

M是我们得到的高亮图。c是类别，x，y是像素位置，k是通道，w是权重，f是特征向量。当M越大，意味着x，y处的特征对于c这一类别来说越发重要。之后我们将M归一化到0-1，给一个阈值，通过下面的公式，我们就能得到类特有特征（s代表specific）和类共有特征（g代表generic）。

其中，代表Hadamard乘积，而当x大于等于0时，sgn（x）=1，小于0时，sgn（x）=0。

之后我们来看整体的训练流程。第一步是进行全部数据的训练，得到提取特征的子网络和基础分类器，用于之后的步骤中。第二步是根据刚刚得到的提取特征网络和分类器，以及之前的CAM，进行尾部类的增广。可以看到，第二步进去一张尾部类图片和一张头部类图片，选取头部类图片时是选取的与尾部类距离较近，容易混淆的头部类（根据置信度排序得到）。

第三步则是微调。注意第三步和第二步是同步进行的，统称为第二阶段。第二阶段整体算法流程如下。