关键词:
弱监督学习
标签不完全
神经网络
支持向量机
摘要:
弱监督是指在训练过程中使用相对较为不精确或不完备的标签信息来指导模型学习。相对于监督学习,弱监督学习更加灵活,并且更符合实际场景中标注数据的获取难度。本文针对以下两种数据情形下的弱监督问题展开研究,分别是少量数据标签已知是负类和少量数据标签已知但不止一个类别。
对于第一种数据情形,深度支持向量描述(Deep Support Vector Data Description,Deep SVDD)是常用的一种基于支持向量机的深度模型,它是一种有效的异常检测方法,特别适用于具有大量正常样本和相对较少异常样本的情况。但是Deep SVDD仅使用正类数据建模,没有利用所有的数据信息,这也导致它的分类边界无法体现出间隔最大化的思想。此外,它的求解算法不够精确,使用正类样本经神经网络映射后的均值作为超球中心,然后通过分位数回归估计超球半径,这样得到的分类器参数值是不够精确的。为解决上述问题,本文提出了可解释小球大间隔网络(Interpretable Deep Small Sphere and Large Margin Network,ID-SSLMN)。模型的主要思想是首先利用神经网络将可获得的数据映射到高维空间,然后在高维空间中构建一个超球。这个超球可以将正类样本包裹在球内,将负类样本排除到球外。该模型在训练时加入了少量可获得的负类样本,通过最大化正类样本与负类样本之间的间隔来更加细化分类边界。此外,受可解释神经聚类方法的启发,本文还探索了一种新颖的算法。通过将分类器参数融入到神经网络中,用来解决模型参数问题。通过统一的反向传播来求解网络和分类器的参数。这种方法不仅能同时更加精确求解所有参数,还能让神经网络最后一层参数具有可解释性。本文的算法为基于距离的深度学习方法的参数精确估计提供了新的见解。另外,本文在2个模拟数据集,3个图像数据集和4个UCI数据集上比较了所提出的方法与其他7种方法的曲线下面积(AUC)值。其中ID-SSLMN取得了最先进的结果,在CIFAR10数据集上的AUC值相较于Deep SVDD方法平均提升了22.44%。
对于第二种数据情形,程序性弱监督是较为先进的一类模型,它的关键挑战是如何有效地聚合不同来源的弱信号。对抗标签学习(Adversial Label Learning,ALL)是一种标签模型和终端模型联合学习的程序性弱监督框架,它的模型性能依赖于分类器模型的参数化,而且该模型需要为不同的数据集寻找合适的误差边界,模型泛化能力较差。本文针对上述情况提出了L2对抗标签学习框架(L2Adversial Label Learning,LALL)。它假设可获得关于数据标签的一些弱信号。模型的主要思想是利用弱信号构建一个可行标签约束空间,然后在这个空间内通过损失最大化学习一个质量最差的标签(对抗标签),再利用对抗标签通过损失最小化学习一个质量最好的分类器。本文使用L2损失作为训练的损失函数,然后为约束添加松弛变量,使得模型可以自适应地调整约束边界的大小。此外,本文还考虑弱信号会放弃标记一些样本的情况,这样的设置更符合实际生活可获得的弱信号。最后,本文使用逻辑回归和支持向量机这两种模型作为终端分类器,提出了基于逻辑回归的L2对抗标签学习方法(L2 Adversial Label Learning with Logistic Regression,LALL-LR)和基于支持向量机的L2对抗标签学习方法(L2 Adversial Label Learning with Support Vector Machine,LALL-SVM)。这两种方法在7个数据集上进行了数值实验,其中LALL-LR在MNIST数据集上相较于原来的ALL模型ACC值最大提高了10.45%。