关键词： AdaBoost   支持向量机   特权信息   迁移学习   数据挖掘  

摘要： 迁移学习能够利用从源域中学到的知识帮助目标域解决分类问题。特权信息是一种不同于原始特征并且只能在训练阶段使用的额外信息,利用特权信息辅助学习可以加强模型的训练效果。先前的迁移学习方法一般只利用原始特征训练分类器,却忽略了数据集中特权信息的价值。如何在迁移学习场景下利用特权信息辅助训练,并尽量提高分类准确率是一个值得研究的问题。本文提出了基于AdaBoost和特权信息的迁移学习方法(Research on transfer learning based on AdaBoost and privileged information,AdaTLPI),用于解决带有特权信息的迁移学习问题。在本文中,AdaTLPI方法将特权信息和AdaBoost算法融合到一个统一的迁移学习框架中,基于共享参数将知识从源域迁移到目标域。同时,在学习过程中利用两个域的特权信息加强模型的训练效果,并通过AdaBoost算法对迭代过程中的多个弱分类器进行加权线性组合得到最终的强分类器。此外,本文提出了一种有效的优化算法来解决目标方程,并且分析了AdaTLPI的训练误差边界。为了解决多分类问题,本文把AdaTLPI方法扩展为AdaTLPI-MC方法。实验结果表明AdaTLPI和AdaTLPI-MC方法的分类性能要优于现有的分类学习方法。本文的主要研究内容如下:(1)本文提出了基于AdaBoost和特权信息的迁移学习方法(AdaTLPI),可以解决带有特权信息的迁移学习问题,并提升目标域分类器的分类精度。AdaTLPI把特权信息和AdaBoost算法融合到一个统一的迁移学习框架中。从特权信息的角度看,AdaTLPI在学习过程中利用源域和目标域中的特权信息加强了模型的训练效果。从迁移学习的角度看,AdaTLPI基于源域和目标域的共享参数实现了知识的迁移,利用源域的知识帮助目标域训练分类器。同时,AdaTLPI通过AdaBoost组合多个弱分类器得到最终的强分类器。此外,本文将AdaTLPI扩展到多分类问题中,得到的AdaTLPI-MC方法可以解决带有特权信息的多分类问题。(2)为了解决提出的AdaTLPI目标方程,本文利用二次规划算法进行求解。先利用拉格朗日方法把原始问题转化为对偶问题,然后利用最优拉格朗日乘子求解该问题,并给出了优化算法的伪代码。本文证明了AdaTLPI的训练误差边界,从理论上分析了AdaTLPI方法的有效性。此外,在论文中还对AdaTLPI和AdaTLPI-MC方法的计算复杂度进行了分析。(3)本文在真实数据集上进行了大量的实验,以验证AdaTLPI和AdaTLPI-MC方法的性能。实验结果表明,与现有的分类学习方法比较,本文提出的AdaTLPI和AdaTLPIMC方法具有更好的分类性能。

关键词： 学习投入   父母教养方式   自尊   生命意义感   高中生  

摘要： 学习投入是学生在学习过程中所产生的一种情感认知状态,可以从侧面反映出学生的学习效果和学习质量,对个体学业发展有着重要影响。本研究主要对父母教养方式、自尊、生命意义感与学习投入之间的关系进行探讨,以期为提升高中生学习投入提供更多教育建议。本研究选取716名高中生作为研究对象,以班级为单位发放《简式父母教养方式问卷》、《自尊量表》、《生命意义感量表》和《学习投入量表》并进行数据分析,研究结果如下:1.高中生学习投入水平总体得分较高,奉献维度得分高于专注、活力维度。在年级和父母受教育程度上存在显著差异。2.高中生父母教养方式中父母情感温暖得分高于过度保护和拒绝维度,在性别、年级、是否独生、家庭结构与父母受教育程度上存在显著差异。3.高中生自尊水平总体得分较高,在父母受教育程度上存在显著差异。4.高中生生命意义感水平总体得分较高,寻求意义得分高于存在意义维度。5.父母情感温暖与自尊、生命意义感、学习投入呈显著正相关;父母拒绝、过度保护与自尊、生命意义感、学习投入呈显著负相关;自尊与生命意义感、学习投入呈显著正相关;生命意义感与学习投入呈显著正相关。6.自尊和生命意义感在父母情感温暖与学习投入之间起部分中介作用;自尊和生命意义感在父母过度保护、父母拒绝与学习投入之间起完全中介作用。结论:父母情感温暖对学习投入既有直接预测作用,也可以通过自尊与生命意义感间接预测学习投入;父母拒绝、父母过度保护不能直接预测学习投入,但可以通过自尊与生命意义感的中介作用对学习投入进行预测。基于上述研究结果,本研究从转变父母教养方式,为学生创设良好家庭氛围,引导学生正向评价自我,提升学生生命意义感角度出发,以期为家庭教育和学校教育提供有效建议,减少学习倦怠现象,提升高中生学习投入水平。

关键词： 联邦学习   非独立同分布   余弦相似度   差分隐私   生成性对抗网络  

摘要： 联邦学习(FL)是一种分布式机器学习方法,它的出现使多方数据能够协作学习一个共同的模型,而不需要从本地收集数据,集中传输并存储于服务器。因此,减少了云上的资源消耗,也增强了客户端的隐私性。然而与传统的人工智能技术不同的是,在这种分布式的学习方法及其应用中存在巨大的挑战。其一,客户端之间相互独立,互不共享数据,数据集的采集方法及来源等因素导致数据集之间属于不同分布,在训练模型过程中严重影响其性能。其二,将联邦学习应用于医疗诊断领域中,数据集的规模相对与其他普通的公开数据集较少,可能会使得训练模型的性能不被医院等信任。其三,医疗数据涉及患者多方面的隐私数据,在解决数据异构性和可用性的同时,可能忽略对数据集的隐私保护,使得真实数据存在泄露的风险。因此,在联邦学习的框架中,隐私安全问题始终是一项巨大的挑战。为了解决上述问题,本文基于相似度的联邦学习算法提出了FedSim模型,对于数据的异构性主要考虑数据集的非独立同分布(Non-I.I.D)问题。在局部不平衡方面考虑改进损失函数的计算,迫使局部模型加快收敛速度,提高模型性能。在全局不平衡方面,将全局分布与局部分布之间的余弦相似度作为服务器聚合的新权重,从而缓解Non-I.I.D问题导致的模型性能下降。在本地客户端的模型训练选用残差神经网络模型,通过在真实数据下进行实验,实验结果表明该模型在不同的Non-I.I.D设置下均优于基线模型。在联邦学习的应用研究中,本文选择对新型冠状病毒(COVID-19)肺炎患者的胸部X射线图像进行诊断分类。本文提出了一个联邦差分隐私生成性对抗网络(FedDPGAN)模型。具体来说,本文使用分布式的DPGAN生成不同的患者数据,增加训练样本。在GAN模型的训练过程中,鉴别器需要分辨生成数据与真实数据,为了在这一过程中保护数据隐私,引入了差分隐私技术,以确保真实训练数据的隐私安全。更重要的是,该模型下能够缓解训练数据的Non-I.I.D问题对模型性能的影响。本文在实验方面,选用多个基线模型与该模型进行对比,测试了数据集在I.I.D与Non-I.I.D设置下模型的诊断准确度,同时考虑了不同程度的隐私保护下模型的精度。在以上实验中该模型均比基线模型性能更优。综上所述,本文针对数据集的Non-I.I.D问题,在联邦学习的算法方面提出FedSim模型,在联邦学习应用于医疗诊断方面提出FedDPGAN模型,并基于FEMNIST数据集和COVID-19数据集评估模型性能。

关键词： 区域滑坡易发性制图   机器学习   集成学习   卷积神经网络  

摘要： 滑坡作为我国发生最频繁的灾害之一,对国家的经济发展、社会和谐稳定和人民的生命财产安全都造成了严重威胁。随着整个社会对滑坡灾害的日益重视,十分有必要分析区域滑坡分布规律,从而预测滑坡空间分布特征,进而采取有效的预防措施。区域滑坡易发性制图作为近年来评价滑坡最主要的手段之一,能够有效地进行区域滑坡易发性分区,对于滑坡防灾减灾及城镇规划等工作具有重要意义。 近些年,机器学习方法被广泛应用于滑坡易发性制图研究,主要因为这类方法具有省时省力、客观性强等特点,能有效解决许多传统野外调查、专家知识方法所无法解决的问题。但是传统机器学习方法在滑坡易发性建模中还存在许多不足与局限性,如逻辑回归容易欠拟合,不能很好的处理滑坡这样的非线性数据;支持向量机处理大样本很耗时,且不能很好处理多分类问题。与之相比,基于多种机器学习的集成方法,在区域滑坡易发性制图中具有适用范围广、分类精度高的优点,表现出更好的拟合效果。 针对传统机器学习方法在区域滑坡易发性制图中的不足,本文以达州市为研究区,首先选取适合研究区的致灾因子,并对因子进行易发性分析,再制作出研究区滑坡样本集;然后将传统机器学习方法与集成方法进行集成,构建出新的集成模型;最后将上述模型用于区域滑坡易发性制图,并分别对模型效果与易发性结果进行分析与比较,以研究集成机器学习方法的合理性与有效性。具体研究工作和结果如下: (1)采用成因分析、相关研究等方法,选取研究区适合的滑坡致灾因子。为了探究滑坡与周围地理环境因素的关系,选取了研究区合适的滑坡致灾因子,在分析研究区地理环境因素、调研相关研究、参考数据可获取性的基础上,从地形地质、土地覆盖、气象水文、人为活动四个方面选取了12个滑坡致灾因子。最后对12个因子进行共线性分析,结果证明12个因子不存在多重共线性,都能被用到后续研究。 (2)量化致灾因子评价指标,从而对滑坡致灾因子进行易发性分析,进而制作滑坡样本集。为了分析致灾因子与滑坡空间分布关系,首先利用自然间断法将每个因子划分为不同评价等级,再采用确定性系数法量化因子评价指标,然后对因子易发性进行评价。评价结果显示,滑坡空间分布为西南区域多,东北区域少;且滑坡主要分布在低海拔的山地、丘陵地区,缓坡,直线坡,坡向为西,离断层较远的区域;植被覆盖度适中、草地等区域也易发生滑坡;滑坡在离河流较近,水体指数适中,TWI值较小,年降雨量1100mm左右的区域分布较多;同时距离道路较近的区域也是滑坡主要分布区域。最后通过将滑坡点和非滑坡点与致灾因子专题图进行叠加,制作研究区滑坡样本集。 (3)将机器学习方法与集成方法进行集成,构建新的集成模型,再将其应用于区域滑坡易发性制图,最后分别对易发性建模效果和易发性评价结果进行分析与比较。首先采用将支持向量机(SVM)、决策树(DT)、逻辑回归(LR)分别替代Ada Boost算法(AB)、旋转森林算法(ROF)的基分类器,以及利用卷积神经网络(CNN)提取特征用于SVM、DT、LR分类的方式,构建出九种新的集成方法。再将上述集成模型用于区域滑坡易发性制图,并利用查准率、查全率、准确率、Kappa系数、AUC值等评价指标对建模效果进行定量分析。 研究结果表明,集成方法能有效提升传统机器学习在区域滑坡易发性制图中的效果,其中ROF-SVM的效果最好(AUC=0.7118)。SVM与集成之后相比,ROF-SVM、CNN-SVM的AUC值分别上升了0.0125和0.0071,但是AB-SVM的AUC值下降了0.0261;在对DT的集成模型中,与AB、ROF、CNN集成后的AUC值分别上升了0.0423、0.0453、0.035。在对LR的集成模型中,AB、ROF、CNN集成后的AUC值分别上升了0.0114、0.0074、0.0159。利用上述九个模型制作研究区滑坡易发性地图,并将该区域划分为极高、高、中、低、极低风险区五类,结合对滑坡灾害实际发育情况的分析,除了AB-SVM,其他模型生成的易发性地图都比较合理,其中ROF-SVM为最适合达州市的滑坡易发性制图模型。

关键词： 强化学习   联邦学习   异构性   非独立同分布数据  

摘要： 联邦学习能使多个机构在满足用户隐私保护、数据安全以及合乎法律规范的前提下,进行共同构建模型,目前已成为隐私计算应用场景下的热门研究方向。然而,在联邦网络中,设备异构性和数据非独立同分布问题使得客户端模型之间出现梯度偏离,直接导致了融合后全局模型精度下降,影响联邦任务的效率与效果。本文主要研究内容如下: 1.为了解决异构性问题对联邦学习造成的危害,提出了基于强化学习的联邦学习模型融合策略(Federated Learning Model Fusion Strategy Based on Reinforcement Learning,Fed-FBR)。设计强化模型融合模块,改进联邦学习模型融合策略,实现强化学习驱动模型融合过程,提高融合效果,降低异构性带来的影响。为了提升强化学习在联邦学习模型融合任务上探索效率与稳定性,设计了基于联邦学习的奖励机制与面向联邦模型融合(Federated Model Fusion Oriented,FMFO)的探索策略,提高了强化学习模型探索的效率与收敛的稳定性,提升了40%的拟合速度。 2.为了解决Fed-FBR在模型融合任务中,训练样本不足、学习周期过长以及探索过程不稳定的问题,提出了异步的联邦强化学习方法(Asynchronous Federal Reinforcement Learning,AFRL)。设计了联邦强化环境模块,将联邦学习问题空间映射到强化学习问题空间中,提出异步的模型融合策略,将强化学习引入到整个联邦学习的生命周期中。 3.为评估AFRL的效果,在非独立同分布划分的Cifar-100数据集、山东电力系统安全帽数据集、IMDB数据集上,分别验证了AFRL方法在目标分类任务、目标检测任务和情感分类任务上的性能,实验结果显示对比基线算法Fed-AVG平均提升了2.98%、4.2%和2.5%的准确率。最后,进一步探究了AFRL方法在极端异构性环境下的表现,证明了其对联邦攻击手段有一定的抵御能力。 综上所述,AFRL能在设备异构性和数据非独立同分布的情况下,通过强化学习驱动模型融合过程,提高全局模型准确率,在各个领域任务上都有优异表现,同时对联邦模型攻击有一定鲁棒性。

关键词： 迁移学习   正样本未标记样本学习   AdaBoost方法  

摘要： 正样本未标记样本学习（PU learning）是研究在模型的训练阶段只通过正样本和未标记样本来训练二元分类器的问题。最近,PU学习已经在许多领域得到了广泛的研究和应用,但是目前现有的研究大多数都是利用单个域的知识来构建分类器进行预测,由于PU学习场景下样本数量较少,模型难以取得较好性能。此外,PU学习属于半监督学习问题,无法在训练阶段计算模型的分类误差,所以现有的PU学习方法都未能使用boosting算法的思想来提升分类器性能。基于上述问题,本文提出了一种基于Adaboost的迁移学习方法来解决PU学习问题,简称Ada TLPU。第一步,为了在源域和目标域得到负样本,我们从不带有负样本的PU学习数据集中提取可靠的负样本。第二步,对于模糊样本,我们利用相似度模型让其能在决策边界中更好的发挥作用。然后,根据相似度权重和共享SVM参数及正则化项的迁移学习,得到了本文的目标方程。在该模型中,通过共享支持向量机参数和正则化项,将源任务知识传递给目标任务。同时,分类器利用模糊样本对正类和负类的相似度权重,对分类器的决策边界进行细化。此外,我们的方法采用Ada Boost算法对得到的弱分类器进行集成,最终得到一个用于预测的强分类器。在目标方程的优化中,通过引入拉格朗日乘子,将目标方程转换成对偶形式。我们根据样本的相似度权重提出了一种计算PU学习分类器分类误差的新公式。根据这个分类误差计算公式,我们给出了基于Ada Boost的迭代优化方法和相应的训练误差界证明。最后,我们组织实验来探究Ada TLPU的性能,结果表明我们提出的方法比基准线方法取得更好的效果。总而言之,本文的主要贡献如下:（1）本文首次提出了一种将迁移学习和Ada Boost算法运用到正样本未标记样本学习问题中的方法,让源域的知识可以迁移运用到目标域的分类中,提升目标任务的分类效果。同时,我们将未标记样本集合中包含的模糊样本的相似度权重整合到基于迁移学习的分类器中,以便模糊样本可以根据它们的相似度权重对分类器的构建做出贡献。此外,我们还根据样本的相似度权重,提出了一种衡量PU学习分类误差的计算公式,使得Ada Boost算法可以被运用到PU学习问题中。（2）为了求解我们提出的Ada TLPU模型,我们在原问题中引入拉格朗日乘子得到对偶问题来对模型进行求解。另外,我在模型的实现上使用了Ada Boost框架,通过多次的迭代并不断调整基分类器的权重,最终得到性能优良的强分类器。因此,我们可以通过迁移学习和Ada Boost算法来解决PU学习问题。（3）本文组织了一系列实验来探究Ada TLPU模型的性能,结果表明我们提出的方法比基准线方法取得更好的效果。

关键词： 莲花山生态旅游度假区   历史遗留废弃矿山   地质环境评价   深度学习   层次分析法  

摘要： 随着我国逐渐重视生态环境的保护,为了保护生态环境,恢复矿山的破损的生态环境,将废弃矿山建成绿水青山,我国逐渐开始重视对历史遗留矿山进行生态恢复和治理,因此对存在的历史遗留矿山进行地质环境评价,有助于当地政府的进行历史遗留矿山生态恢复和相关生态环境政策的制定。本研究以长春莲花山生态旅游度假区为研究区,作为长春周边重要的旅游区,对生态环境质量要求较高,因此对该研究区进行历史遗留矿山的地质环境评价具有充分的必要性。本论文研究主要分为两个研究部分:1)研究区域内历史遗留矿山的遥感图像识别工作;2)结合遥感图像识别成果进行研究区的历史遗留矿山地质环境评价。其中两部分研究内容相互联系,遥感图像识别的结果作为矿山地质环境评价的基础。主要内容如下:在进行遥感图像识别工作中,以高清的卫星图像为研究数据源,采用计算机图像识别解译和人工目视解译两种解译方法,通过野外调查进行结果验证。在计算机图像识别解译工作中,由于可使用的高清遥感图像样本较少,引入迁移学习图像识别算法对研究区历史遗留矿山的矿山采坑和开采边坡进行检测和识别。本研究中使用迁移学习图像识别算法中的2个子模型进行综合判别,分别为预训练模型和远域迁移学习模型。1)在预训练模型中,引入5种结构进行对比,分别为VGG-16,VGG-19,ResNet-50,ResNet-101,ResNet-152,在对矿山采坑和矿山开采边坡的图像识别任务中,证明预训练模型中的ResNet-152结构识别效果最好。2)采用远域迁移学习模型对历史遗留矿山的矿山采坑和开采边坡进行识别时,以UC Merced Land-Use图像集,WHU-RS19遥感图像集,SIRI-WHU遥感图像集和毕节滑坡图像集作为远域迁移学习的源域数据集。经过对比实验分析,由重建损失、域损失、分类损失和总损失四个指标进行评判模型的好坏,通过结果分析知,在对矿山采坑识别任务中,SIRI-WHU遥感图像集表现最好,在对矿山开采边坡识别任务中毕节滑坡数据集表现最好。经过验证,虽然计算机图像识别准确率略低于人工目视解译,但其凭借简单快速的特点,仍可用于遥感解译工作中。本研究根据遥感解译工作成果,进行历史遗留矿山地质环境的分区评价和综合评价工作。在进行单个历史遗留矿山地质环境分区评价工作中,根据遥感解译结果和野外调查成果,对历史遗留矿山内部各区域进行划分,划分为历史遗留矿山采坑、矿山开采边坡、矿山工业广场和固体废弃物堆积,针对各矿山区域因曾经的矿山开采活动产生的地质环境问题(地质灾害、地形地貌景观破坏、土地资源压占与破坏),按照相关规范进行历史遗留矿山地质环境分区评价,从而获得精确的历史遗留矿山内部的地质环境分区评价结果。在进行历史遗留矿山地质环境综合评价工作中,根据收集的研究区相关地质资料,选取研究区域的6个影响因子进行研究区地质环境背景评价。结合研究区地质环境背景评价结果,并选取历史遗留矿山的形态特征、内部单元情况、主要生态问题和恢复治理情况多个评价指标,采用层次分析法,根据《矿山地质环境调查评价规范》(DD2014-05)中的规范,进行地质环境综合评价。历史遗留矿山综合评价结果最后划分为严重、较严重、一般三个级别,在评价结果中,本研究中的88座历史遗留废弃矿山中,地质环境问题严重的由45座,地质环境问题较严重的有26座,地质环境问题为一般的有17座。根据单个历史遗留矿山地质环境分区评价结果和历史遗留矿山地质环境综合评价结果,并结合莲花山生态旅游度假区的发展规划和实际情况,从崩塌、不稳定斜坡等地质灾害,地形地貌景观修复,土地资源恢复以及生态保护政策多个方面对研究区的地质环境的改善提供科学合理的建议。

关键词： 配对交易   深度强化学习   深度神经网络   大豆期货  

摘要： 中国进口大豆有87%都是用于大豆油的压榨,而后剩余含有丰富蛋白质的豆粕则用于饲料行业。作为大豆压榨的衍生品,豆油、豆粕和大豆之间存在着非常显著的自然联系,从而使得三者的供需变化会传导到另外两者的价格变化上。一般而言,这种自然关系的走向往往完全遵循人们的预期,虽然偶尔会发生范式转换,但这些只会是起到调整关系的作用,而不是切断关系。因此,将大豆期货纳入到配对交易的资产池,会有利于我们更方便、更精确地对配对资产之间的价差关系进行研究及预测,从而实现更好的套利效果。区别于传统的量化策略交易模型,本文采用了一种新颖的基于协整关系的深度强化学习方法(CA-DRL)来对大连商品交易所黄大豆一号、豆粕和豆油期货的配对交易策略进行了研究。配对交易策略的实施主要包括两个阶段。在第一个阶段,本文使用协整法来从三种大豆期货品种的两两组合中挑选合适的配对组合,即一种情况选取所有的原始配对(3*2/2=3个)进入交易,另一种情况通过协整检验选取满足长期稳定关系的配对进入交易。同时,为了排除不同的配对形成期时间长度对模型实证结果的影响,本文还分别将配对形成期划分为一年、两年以及三年这三种情况。第二个阶段为配对交易期,我们将根据不同的交易规则和决策依据来作出不同情境下的交易决策。本文选取了两种方法确定套利交易过程中具体的开仓和平仓的阈值,作为交易规则来帮助我们作出相应的交易决策。一种是简单阈值法(ST),即当形成配对的两种资产之间的价差偏离超过两个历史标准差(2σ)时打开头寸,并在均值回归时关闭头寸来进行获利。另一种为深度强化学习方法(DRL)。本文应用深度强化学习算法进行配对交易自主学习,以及利用深度神经网络模型进行学习训练的算法实现。综上,本文一共采取了四种模型,简单阀值法(ST)、基于协整关系的简单阀值法(CA-ST)、深度强化学习方法(DRL)以及基于协整关系的深度强化学习方法(CA-DRL)。实验结果表明,不管在配对形成期为一年、两年或者三年的情况下,CA-DRL模型都具有最好的模型表现,中国非转基因大豆期货可以实施商品间的配对交易策略。本文一方面能够验证配对交易对于大连商品交易所大豆期货的适用性,能够填补国内在商品期货配对交易策略理论研究的不足,是对商品期货品种进行配对交易策略理论研究的有益补充。另一方面,在交易模型的设计上,本文首次将深度强化学习(DRL)算法用于商品期货的套利策略中,因此既证实了DRL算法在量化交易中的有效性,同时,为了使DRL算法更适合大豆系期货的套利,本文也对DRL算法作出了一些改进。最后,为了避免在实际的模型训练过程中存在的运算量巨大和可能造成无效训练的问题,本文还采用了预训练的方法,从而节约了时间成本以及增强了训练结果的有效性。正是如此,本文的意义在于为国内投资者进行商品期货量化投资、分散风险提供了一种可行的参考。同时,配对交易策略在我国期货市场的应用,有利于建立更加合理有效的价格发现机制,提高期货市场金融资源的配置效率。

关键词： 多标记学习   局部标记相关性   标记流形   局部特征相关性   特征流形  

摘要： 在实际应用中,一个实例对象通常被标注多个类别标记,这种现象称之为多标记学习。多标记学习致力于根据已有的带有标记的数据学习分类器,然后利用学得的分类器为新的数据预测出所有相关的标记。标记相关性在多标记学习中发挥着重要的作用,标记相关性的建模能够帮助减少多标记学习中需要预测的类别标记。目前全局标记相关性已经被广泛的应用到多标记分类中,但是在某些情况下,不同的实例对应的标记相关性是不同的,因此标记相关性可能是局部适用的。此外,现有的方法大多都只注重于利用标记相关性来提升模型的性能,而忽视了特征之间的关系对多标记分类模型的影响,类似于标记相关性,特征相关性可能也是局部适用的,学习局部特征相关性能够更充分的挖掘特征之间的关系,从而更好的去除特征空间中的冗余,并为多标记学习提供一个紧凑的特征空间。本文将标记和特征的局部相关性整合到一个统一的框架中,提出了建模标记和特征局部相关性的多标记学习方法(LLFC)。该方法首先将训练数据通过聚类方法聚类成多个不同的数据子集,根据聚类划分的不同的数据子集得到数据子集对应的标记子集,然后在这些数据子集和标记子集上分别通过特征流形和标记流形,来获取局部特征相关性和局部标记相关性,并为每个子集学习一个对应的分类器,从而进一步提升多标记分类方法的性能。此外,本文还构建了一个新的正则项,该正则项通过控制模型系数的一致性来获取不同数据子集之间的关系。在预测阶段为了提高预测的准确性,文中取多个分类器的预测结果的算术平均值作为测试数据的最终的测试结果。在12个公用的多标记数据集上,选取分类性能评估中常用的7种评价指标进行实验分析,验证了本文提出的多标记分类方法的有效性。

关键词： 深度学习   倒向随机微分方程   偏微分方程   最优控制   最大值原理   非线性期望   随机Stackelberg微分博弈  

摘要： 在过去的几十年中,完全耦合的正倒向随机微分方程(FBSDE)和随机最优控制问题的数值计算一直无法真正地进行到高维。直到最近深度学习方法的引入,使得求解高维的FBSDE和随机最优控制问题的数值解得到了突破性的进展。本文主要研究将深度学习方法应用在求解高维的完全耦合的FBSDE、随机最优控制问题、随机哈密顿系统问题、完全耦合的FBSDE驱动的随机最优控制问题和非线性期望理论等随机分析问题的数值计算上。本文的主要创新点在于,利用深度神经网络处理高维数据的能力,将所处理的随机分析问题通过构造合适的神经网络结构来求其数值解。我们对于不同的随机问题,都较为系统地讨论了在深度学习方法下,给出了随机问题的数值计算方法,从问题转化和迭代算法上都给出了新的表述。总的来说,深度学习方法比较好地解决了一类FBSDE和随机最优控制问题的高维计算问题,打破了传统经典方法不能处理高维问题的局限,在高维计算领域得到了突破性进展。文章共有8章,第1章和第2章为绪论和预备知识部分,第3章至第7章是深度学习方法在具体问题中的具体实现,主要内容如下:第1、2章是绪论和预备知识部分。此2章的主旨是为了方便读者更好地理解本文,简要介绍了随机分析理论和深度学习理论的发展历史,回顾了一些相关的基础知识,以及[28]中提出的深度BSDE方法。第3章主要研究的是通过构造合适的深度神经网络结构来求解高维完全耦合的FBSDE问题。在这里,我们将过程Z看作是随机控制,并根据控制Z的不同反馈形式,我们相应构造了三种不同的神经网络结构,系统地讨论了在不同状态反馈函数情况下,求解FBSDE的深度学习方法。另外,我们还给出了在不同条件下,深度学习方法的收敛性证明。第4章主要探讨的是如何通过计算由随机最大值原理(SMP)得到的随机哈密顿问题,来求解高维的随机最优控制问题。由随机最优控制问题导出的随机哈密顿系统,实际上是一个带有最大值条件的完全耦合的FBSDE,这一章便是根据最大值条件的不同性质,构造相应的神经网络结构来求解该随机哈密顿系统。通过随机哈密顿系统来求解随机最优控制的主要优势在于,它给出了一个判定数值解是否足够接近显式解的一个标准,那就是看损失误差是否接近于0.第5章主要讨论的是一种全新的计算随机哈密顿系统的深度学习方法。对于随机哈密顿系统,我们首先去寻找它所对应的随机最优控制问题,使得该随机最优控制问题通过SMP得到的随机哈密顿系统便是我们最初要求的随机哈密顿系统。根据随机哈密顿系统的性质,我们可以将其对应的随机最优控制问题分为两类。一类是该随机最优控制问题是可以显式表达的,另一类是不可以显式表达的。前者是一个经典的随机最优控制问题,后者是一个带有最大化目标的随机最优控制问题。对于后者,我们将其转化为一个随机Stackelberg博弈问题,并提出了一种新的交叉优化方法,对随机最优控制问题和需要最大化的控制问题分别进行交叉优化。第6章讨论的是完全耦合的FBSDE驱动的随机最优控制问题数值解。对于该随机最优控制问题,我们首先将其转化为一个随机Stackelberg博弈问题,并通过交叉优化的方法来计算该博弈问题。其中相比较于领导者的优化问题,我们需要对跟随者的优化问题进行更多次数的迭代计算,保证它优先达到最优。本章还给出了金融市场随机递归效用模型计算的例子,结果表明我们的交叉优化方法对求解完全耦合的FBSDE驱动的随机最优控制问题是收敛的。第7章我们简单探讨深度学习理论在非线性期望计算方面的应用。根据次线性期望的表示定理,一个次线性期望可以表示成一族线性期望的上确界,此时我们可以将次线性期望看作是一个带有控制域约束的随机最优控制问题的最优值函数。那么以上几章中提到的求解随机最优控制问题方法都可以用来计算次线性期望问题,特别是用来计算高维情况下的次线性期望问题。我们计算了6种不同函数下的次线性期望,结果表明,对于凸函数或凹函数,以及值域非负或非正的一般函数,深度学习方法计算次线性期望都有比较好的收敛结果,而对于值域既可以取正、又可以取负的非凸非凹函数,深度学习方法计算出来的结果是发散的。这要求我们需要去寻找更加精准有效的数值计算方法来计算高维的次线性期望问题。最后一章对本文简要做了一个总结,并展望了未来可以讨论的方向。