关键词： Robust Statistics   Machine Learning   Classification   Clustering   Differentially Expressed Gene   Transcriptomics   Minimum Beta-Divergence  

摘要： Machine Learning(ML)is the section of computational science that can receive input data and analyze with statistical computational algorithms to enable learning,thinking,and decision making as output beyond human *** learning approaches are enormously used in transcriptomic data analysis(TDA).The TDA is one of the prominent sections of OMICS research for *** microarray(continuous type data)and RNS-Seq(discrete type data)are the two fields of *** ML approaches are used in TDA mainly for classifying/clustering samples associated with genes/transcripts and to identify the genes/transcripts whose expressions differ between two or more experimental conditions known as differentially expressed(DE)*** in presence of outliers in the data,most of the classical machine learning classification or clustering approaches provides misleading *** this thesis,the robust statistical based machine learning approaches have been proposed for classification and clustering study in *** is a supervised learning approach for allocating unlabeled dichotomous patient samples into labeled dichotomous patient *** classification methods are clinical-based and therefore,their applications become limited with lower prediction *** Least Square Linear Discriminant Analysis(PLS-LDA)is one of the popular classifier for predicting unlabeled dichotomous patient *** has been widely used both in gene expression(GE)and metabolomics datasets for cancer diagnosis and drug ***,this method provides misleading results in presence of outlying data vector with classical maximum likelihood ***,we developed a robust PLS-LDA approach using the minimum beta divergence method(see Chapter 2).The proposed method produces a weight function known as beta-weight function for the detection of outlying data vector for the robust PLS-LDA *** proposed method outperformed in

关键词： 机器学习   冠状病毒   刺突蛋白   蛋白分类预测  

摘要： 新型冠状病毒肺炎(Corona Virus Disease 2019,COVID-19)是一种由新型冠状病毒(Severe Acute Respiratory Syndrome Coronavirus 2,SARS-COV-2)引起的呼吸道传染病。冠状病毒可跨物种传播到包括人类在内的多种哺乳动物,严重威胁人类健康及公共卫生安全。因此,快速准确地预测冠状病毒宿主分类对于未来防控流行病具有重要意义。本研究从美国国家生物信息中心(National Center for Biotechnology Information,NCBI)病毒数据库中收集数据,从2000年1月1日至2020年9月25日共获得19385条冠状病毒的刺突蛋白序列,将其按照分离物种来源分为人源性和非人源性。使用CD-HIT软件去除重复和冗余序列。分别按照随机划分和采样时间先后划分的方式,将数据集以8:2的比例划分为训练集和测试集。本研究使用蛋白质描述符和自然语言模型Seq2Vec来提取刺突蛋白序列特征,应用多种机器学习方法如支持向量机(Support Vector Machine,SVM)、逻辑回归(Logistic Regression,LR)、随机森林(Random Forests,RF)以及深度学习方法门控卷积神经网络(Gated Convolutional Neural Network,GCNN)建立分类模型。使用训练集进行100次重复的5折交叉验证训练分类模型,并用测试集进行模型评估。最终选择Seq2Vec-GCNN作为最佳模型,其AUC值为0.9818,敏感性为90.06%,特异性为1,准确率为94.45%。选取去重复数据集共3216条序列,将数据按照不同类别宿主分为人类、猪类、禽类、蝙蝠、骆驼和其他哺乳动物共6类,按照收集时间排序后以8:2比例划分为训练集和测试集。使用分布描述符(CTDD)以及自然语言模型Seq2Vec提取刺突蛋白序列特征,并应用多种机器学习方法和深度学习方法使用100次重复的5折交叉验证训练分类模型,最后用测试集进行模型评估。在预测人类宿主方面Seq2Vec-GCNN作为最佳模型准确率高达99.37%,而在预测其他宿主分类方面CTDD-RF模型表现最佳,准确率分别为猪类95.82%,禽类95.96%,蝙蝠98.33%,骆驼92.06%,其他哺乳动物94.01%。以上结果分析得出,基于机器学习方法使用刺突蛋白序列构建预测冠状病毒宿主分类模型是切实有效的,可以及时、快速、准确的预测冠状病毒宿主分类,从而应用到未来的病毒防控中。随着SARS-Co V-2变异体不断出现,宿主类别可能会进一步发生改变,这使得预测冠状病毒宿主分类模型变得极为重要。本研究结果可能对未来预测和防控冠状病毒大流行具有极大参考价值。

关键词： 多因子选股   量化投资   XGBOOST   SVM  

摘要： 随着世界经济的高速发展,证券市场也更加完善和复杂,规模也在逐步增加,各式的投资种类层出不穷。量化投资是一个通过从历史数据中提炼有效经验,并把这些经验运用于指导未来的一个新投资方法,量化投资通过数学模型以及计算机来实现投资策略,从而获得较为稳定的超额收益。和传统投资方式不同,量化投资不受个人主观情感的影响,也因此能够保证投资逻辑的稳定性。多因子选股模型是较为经典的模型之一,该策略的主要思想是根据金融理论寻找一些影响股票收益的因子数据,通过模型利用相关因子筛选出能够获取超额收益的股票构建组合。随着人工智能快速发展,在处理高维数据时,广泛使用机器学习模型能取得较好的效果。因此本文构建了基于机器学习算法的多因子量化选股策略,在不同情况下分别进行回测,将回测结果进行对比。在量化多因子选股模型中,最重要的是解决因子池构建以及策略模型构建两大问题。针对这两个问题,在参考前人研究的基础上,本文从价值因子、成长因子等九个大类中选择了共51个因子作为初始因子构建因子池。在分类算法选择方面,本文选择了XGBOOST模型和SVM模型进行实验。本文选择沪深300指数成分股作为主要研究对象,选择2018年11月-2021年11月间每月最后一个交易日因子截面数据为主要样本数据,实验过程主要分为数据预处理与模型策略的建立,其中在数据预处理部分使用Lasso算法对特征因子进行降维处理,筛选出重要因子。为了使模型能够及时抓住市场的变化,本文采用了滚动训练的方式,不断重复进行训练。本文所建立的机器选股策略在2018年11月-2021年11间,最高的年化收益率达到59.31%,远超过同期沪深300指数表现(同期沪深300指数年化收益为:15.3%)。本文将策略在不同持仓数量、不同训练集长度、不同调仓周期的情况下加以比较分析,结果发现基于机器学习选股策略的表现差异很大。总的来说,当持仓数较少时,策略会有更高的收益,同时投资组合所承受的风险会越大。由于资本市场经常会出现风格切换,风格切换后可能会使前期的重要因子失效,合理选择训练集长度就十分重要,本文研究发现将模型训练集长度设置为9个月时,策略会取得更好的效果。策略模型调仓周期不能太长,调仓周期过长可能会使得投资组合错过某些重要行情,调仓周期设定成1-2个月较为合适。从整体上看,在本文所选因子的前提下,XGBOOST模型策略效果要优于SVM模型策略效果。

关键词： 深度学习   表格学习   自然语言处理   多标签文本分类  

摘要： 表格可以将影响决策的多维度要素有序的存储并清晰的展示出来,是帮助管理者进行决策的有效工具。纵观现有对表格数据的分析方法,有以下问题值得关注:目前的分析方法仅针对包含类别特征与数字特征的表格,无法分析包含主观描述字段的表格;机器学习在表格数据挖掘领域中占主导地位,但决策因素的维度提升会影响分析结果。针对上述问题,如何同时对表格中的数字型特征、类别型特征、主观描述文本特征进行深层次的规律探究,进而辅助决策,变得尤为重要。本文提出了一种基于深度学习且结合语言模型的表格学习方法,针对北方工业大学中学生的可持续发展观点调查问卷结果进行规律探究并进行结果评定。该方法通过语言模型将主观描述字段分别转换为文本相似度和文本观点序列,将其与表格中的其他特征进行拼接后再送入表格模型进行分析决策。论文的主要工作内容如下:(1)针对考察概念的主观字段,使用TF-IDF提取学生作答的关键词与词频并用Jaccard系数作为评估指标;使用Word Embedding提取学生作答与官方文本的向量空间并进行相似度比较,此两者共同描述了概念空间。(2)针对考察学生是否具备正确观点的主观描述字段,本文提出ML＿BERT,以BERT语言模型为框架,通过微调模型结构与损失函数使其完成多标签观点提取任务,并通过实验证明了其有效性。(3)针对多标签文本观点提取任务中的标签不均衡问题,本文引入多标签Focal loss对分类任务进行优化。(4)本文将语言模型与表格学习模型相结合,并针对观点序列修改Tab Net使其避免特征离散的同时更关注于主观作答内容。实验证明本文选取的端到端表格学习模型相较于其他方法更适用于与语言模型相结合,且具有可解释性。

关键词： 期权定价   集成学习   GARCH模型   上证50ETF期权  

摘要： 2021年“十四五”规划突出表达了关于深化金融供给侧结构性改革的内容,近年来随着我国金融资本市场的快速发展,金融衍生品的交易开始慢慢取代传统的基础金融产品交易,金融衍生品的市场占比也越来越高。其中,期权是近年来中国以及国际金融市场中扮演着重要角色的金融衍生品,也是具有活力的金融风险管理工具之一,期权定价同样也是金融领域研究中的核心之一。自从BlackScholes期权定价模型(BSM)提出后,关于期权定价的理论便开始飞速发展,许多改进的期权定价模型被不断提出,然而大部分提出的模型都是基于传统金融模型改进的参数模型。随着计算机领域的计算能力不断突破发展,机器学习在各个领域中开始大放异彩,机器学习模型这样的非参数模型也同样开始在期权定价中崭露头角。本文将试从机器学习的视角来探索符合国内期权定价的相关模型,进一步丰富国内关于期权定价理论的研究。本文将基于上证50ETF期权的相关数据来对国内期权定价模型进行实证研究,选取了2020年6月29日至2021年6月25日共32844条日交易数据。首先,考虑到期权价格的影响因素的广泛性以及期权理论价格公式的局限性,在用GARCH改进传统BSM波动率的基础上,加入了市场上影响期权价格的其他特征变量,并运用了机器学习的非参数方法来对期权进行定价研究;其次,在参考前人研究的基础上,对比分析了不同机器学习模型的优缺点,选取集成学习方法进行期权定价,并将集成学习方法中的各种主流模型进行对比计算;最后,结合纯非参数模型和参数非参数融合模型的期权定价方法,分析研究了直接法和参数模型调整法的机器学习期权定价结果,并与传统的BSM期权定价方法进行比较。通过本文的理论和实证研究发现,在基于GARCH模型改进常数波动率后,虽然参数与非参数的融合模型的市场解释能力更好,但运用集成学习中的Light GBM模型的直接法期权定价模型定价效果最佳,即纯非参数模型定价效果更好,相较于传统的BSM期权定价模型具有更好的稳定性、泛化能力和精度。本文的研究一定程度上丰富了期权定价的研究,同时,期权定价模型的研究也可以为投资者们的投资策略设计提供一定的参考价值。

关键词： 小学   美术教学   合作学习方法   教学方法  

摘要： 小学美术课堂中运用合作教学方法，能够增加生生、师生之间的互动，提升课堂教学效果。为了实现学生学习能力与美术素养培养的目的，本文以小学美术教学中如何利用合作学习方法开展教学活动为研究主题，对小学美术教学中存在的问题进行阐述，对如何发挥合作学习的优势，提升美术教学质量提出几点建议，以期为相关人士提供一点参考。

关键词： 机载RGB影像   高光谱影像   LiDAR点云数据   3D点云深度学习   多源异构数据融合   单木树种识别  

摘要： 树种的分类识别对于提取树木特征属性,保护生物多样性有重要意义,精确的单木树种识别在树木参数反演中也起着至关重要的作用。区域尺度的树种分类与制图采用机器学习方法建立分类模型以完成树种分类识别,但难以满足森林精细经营管理单木级信息获取需求。机载高光谱和Li DAR点云提供了林木高分辨率光谱信息和精细的三维结构信息,深度学习能从各类多源异构数据中挖掘出高阶的抽象特征,为实现单木级的树种识别提供了可能。本文以广西省南宁市高峰林场为研究区,采用机载高分辨率RGB影像、高光谱影像和Li DAR点云数据,建立样本数据集,针对多源异构数据的特点,采用不同的融合方式,提出了基于像元和基于点云两种类型的单木树种识别算法,实现了复杂林分下单木树种分类制图。主要研究内容和结论如下:(1)单木树种识别样本数据集构建。利用无人机对研究区采集RGB影像、高光谱影像和Li DAR点云数据,分别进行预处理后,对数据进行人工手动标注,分别构建了包含六个树种(组)的影像样本数据集和点云样本数据集。同时,采用数据增广策略扩充样本,降低模型的过拟合问题。(2)构建了基于像元的单木树种识别AC R-CNN模型。深度学习网络中的实例分割模型可以支持基于像元的单木树种识别与定位任务。本文以机载RGB影像和Li DAR点云数据为数据源,以实例分割网络Mask R-CNN为基本框架,引入注意力机制,使用ACNet代替Mask R-CNN模型的Res Net骨干特征提取网络,构建AC R-CNN模型。该模型从RGB影像和Li DAR提取的冠层高度模型(Canopy Height Model,CHM)中选择性地学习特征,使网络专注于信息量更大的区域,从而更有利于树种的分类和识别。应用AC R-CNN方法对研究区进行单木树种识别,总体分类精度为78.89%,Kappa系数为0.7124,F1分数为73.49%。相较于基准网络Mask R-CNN,总体分类精度提升15.65%、Kappa系数提升0.1460,F1分数提升14.85%。(3)提出了基于点云的3D点云深度学习模型IS3DNet。为充分利用机载Li DAR点云数据中精细的三维结构信息和高光谱影像中丰富的光谱信息,同步实现单木树种分类和分割,本研究将Point Net++模型引入单木树种识别中,以Point Net++为基本框架,提出融合机载Li DAR点云与高光谱影像的端到端单木树种识别模型IS3DNet。首先,根据共线方程将机载Li DAR点云与高光谱影像融合,生成具有光谱信息的点云数据。其次,采用多尺度重叠分块策略扩增样本,提高了模型对噪声和方向的鲁棒性。最后,基于Point Net++模型,采用一个共享编码器和两个并行解码器同步完成单棵树木的语义类别预测和实例分割。对于分类任务,与ICA-SVM、2D-CNN及3D-CNN等方法相比,IS3DNet性能较高,总体分类精度为94.24%,Kappa系数为0.9365,处于前列,与最高的3D-CNN方法分类精度仅差3.68%,但单木识别结果更加契合森林中树种的真实分布。而对于单木实例分割任务,与分水岭算法和基于点云的距离判别聚类算法相比,IS3DNet取得了最佳的F1分数90%,将单木检测精度提高了5%～7%。对比本研究提出的基于像元的AC R-CNN方法和基于点云的IS3DNet方法,发现融合RGB影像和CHM的AC R-CNN模型是一种成本低、速度快、效率高的单木树种识别方法,可满足一般单木树种识别的应用需求。IS3DNet模型融合Li DAR点云和高光谱数据,直接处理无序点云数据,相较于AC R-CNN方法,可以同步完成单木树种分类和分割,并取得了更高的精度,更适用于复杂林分下的单木树种识别。因此,采用深度学习方法融合Li DAR点云和高光谱数据是较优的异构数据融合方式,IS3DNet模型可以实现高精度端到端单木树种识别,为森林资源调查中高精度单木树种信息获取提供了一种新的解决方案,并可为精细化样地调查和森林参数估算提供技术支撑。

关键词： 噪声标签   神经网络   自监督学习   划分标准   Small-loss准则  

摘要： 噪声标签学习是机器学习领域中一个重要的研究方向。其作为一个与数据密切相关的基础问题,广泛地存在于人工智能的各个领域中,如分类问题、识别问题等。尤其是在深度学习时代,噪声标签问题的研究变得更为重要。深度学习的成功依赖于大规模人工标注标签的数据库,但构建大规模人工标注数据库的成本极其昂贵且非常耗时。低成本、耗时短的替代方法,如互联网爬虫技术等,但不幸的是这种方法获取到的数据集不可避免的含有大量噪声标签数据,且常见数据库同样存在因误判而产生的噪声标签。研究表明噪声标签数据严重影响了深度神经网络模型的泛化性能与鲁棒性。因此噪声标签学习已成为深度学习中的研究热点。尽管如此,目前噪声标签学习仍存在以下几方面问题:Small-loss准则作为划分噪声标签数据的方法受限于对噪声率等信息的要求,应用范围窄、现有划分噪声标签数据的方法仅依据损失值大小,导致其在困难样本上的划分结果不佳,以及划分后的噪声标签数据缺乏合理使用策略等。针对以上问题,本论文提出了基于Small-loss的自适应噪声标签学习算法、基于数据分布的自适应噪声标签划分算法(Tripartition)、基于数据的自适应噪声标签学习算法(Tripartitie),具体内容如下: (1)基于Small-loss的自适应噪声标签学习算法。Small-loss准则是被广泛应用于划分噪声标签数据的方法,其依据是在训练阶段干净标签样本拥有较小的损失值这一现象,根据损失值大小对所有样本进行升序排列,选取前R%的样本作为干净标签的训练数据(R%为数据集的噪声率)。但在实际情况中,大多数数据集缺乏噪声率等信息,因此Small-loss准则的适用范围有一定的局限。为解决这一缺点,本文第三章提出一种根据训练阶段损失值变化,而自适应的噪声标签学习算法,既可以应用Small-loss准则,还能解决实际情况中无法获知噪声率的情况。在对数据的分析中,本文发现了现有模拟噪声标签类型的不足,提出了一种更加贴近实际噪声分布情况的噪声标签类型,名为Realistic,为以后分析实际噪声标签问题提供帮助。 (2)基于数据分布的自适应噪声标签划分算法。现有的噪声标签数据划分方法都依据在训练过程中干净标签样本的损失值较小这一现象。虽然其在一定程度上可行,但是在多数实际情况中数据的划分结果表现不佳。而经本文研究发现仅以损失值大小作为判断标签正确与否,不够充分,其会忽略一个至关重要的问题。即在训练阶段困难样本无论其标签正确与否,其损失值都普遍较大,而简单样本的损失值则较小。这与现有划分依据冲突,严重影响了噪声标签数据划分的正确性。针对这个问题,本文第四章依据简单样本与困难样本在引入噪声标签之后不同的分布特点,提出了一种全新的噪声标签划分思路并给出具体划分算法(Tripartition)。Tripartition方法把训练数据分为三部分,而不是现阶段方法只划分为干净标签与噪声标签两部分,具体为干净标签数据子集、噪声标签数据子集、困难数据子集。在数据空间中,困难数据子集是对应于数据中处在分类边界且无法判断其有效标签的数据。实验表明,根据分布特点把训练数据划为三部分,大大提高了数据的划分准确率。 (3)基于数据的自适应噪声标签学习算法。现有的噪声标签方法主要分为损失修正类方法与样本筛选类方法,样本筛选类方法的优点已经在第三章论述。损失修正类方法的优点则是能够使用数据中的所有信息,而不是仅使用干净标签数据,因为噪声标签数据也能为训练模型提供有用信息。本章的目的就是结合损失修正类方法与样本筛选类方法的优点,降低噪声标签数据对网络影响,并能够充分合理使用全部数据。本文提出了自适应噪声标签学习方法(Tripartite),在Tripartition划分算法的基础上对划分得到的三部分数据分别使用不同的策略,充分利用所有数据。针对拥有不同特点的数据子集具体使用策略为,对噪声标签数据子集使用自监督学习的思想策略;对困难数据子集使用弱权重学习的策略;对有着较高准确率的干净标签数据子集直接使用交叉熵作为损失函数。最后通过在多个合成数据集和实际数据集上与SOTA方法进行对比,从而证明方法的有效性,并且大量消融实验证明了Tripartite方法的稳定性。

关键词： 联邦学习   隐私保护   类不平衡   中毒攻击   同态加密   秘密分享  

摘要： 在云计算环境下,传统的机器学习方案需要用户把自己的本地数据上传到服务器进行集中式训练,这可能会导致用户的行为模式、消费习惯等隐私信息泄露。为了应对这一问题,联邦学习被提出,其只需要用户上传训练后的模型参数而不需要上传本地数据,因此成为了一种很有前途的分布式神经网络训练方法。但目前联邦学习仍然存在许多问题,比如类不平衡问题导致的精度下降以及恶意客户端能够利用处理过的数据对全局模型进行中毒攻击等等。近期许多研究针对这些问题提出了解决方案,但大部分方案需要用户上传额外的信息或没有对传输的数据进行保护,无法很好地保护用户的隐私。因此,构造能够解决上述问题的安全高效的联邦学习框架具有重要的理论意义及应用价值。本文主要对基于同态加密和秘密分享的隐私保护联邦学习方法进行研究,主要工作如下:(1)基于Duan等人的自平衡联邦学习框架(Astraea方案)进行改进,构造了一个能够保护用户数据隐私的自平衡联邦学习框架,称为Secure Astraea。本文的方案使用同态加密技术对训练过程中用户上传的额外数据进行保护,使得在不泄露任何隐私信息的情况下完成数据增强等步骤,协调各个客户端组成一个个数据分布相对均衡的客户端组进行集中训练来减弱类不平衡对联邦学习精度的影响。并且通过同态加密的加法同态性质在密文下对用户的模型参数进行聚合,避免受到成员推断等攻击。Secure Astraea还在算法层面对原方案进行了优化,通过引入类权重来进一步提高模型在遇到类不平衡时的精度。然后进行了安全性分析和效率评估,实验结果表明了Secure Astraea方案的可行性。(2)基于CONTRA方案提出了一个保护隐私并且能够抵抗中毒攻击的联邦学习框架,称为SCONTRA。本文分析了CONTRA方案的隐私泄露问题,在新的SCONTRA中使用秘密分享技术对用户的模型参数进行保护,设计了对应的协议计算用户参数之间的相似度以获得对应的信誉分数,并根据该信誉分数调整用户的聚合权重。本文还对基本的计算方案进行分析,设计了更加高效的优化方案,减少了计算过程中的通信。然后进行了分析以及实验,实验结果表明SCONTRA方案与原方案在抵抗中毒攻击的效果上一致,并且更加安全。

关键词： 多模态   图卷积神经网络   深度学习   套装兼容性建模  

摘要： 随着生活水平的提高,人们对服装的需求已经从基本的遮体避寒转为时尚得体的套装搭配。然而,并非所有人都有较好的时尚敏感度,能够从海量的服装单品中挑选并搭配出合理时尚的套装。因此,套装兼容性建模,即为套装的搭配程度进行自动评估,逐渐成为科研人员的研究热点。套装通常是由若干件互补的服装单品组成,而套装是否搭配取决于这些单品之间的兼容程度。传统基于成对单品的套装兼容性建模方法将套装解耦成若干成对单品的集合,缺乏对套装内多件单品之间兼容关系的全局捕获。基于单品序列的套装兼容性建模方法将套装建模成一个有序的单品序列。但由于难以明确定义套装内单品之间的顺序依赖关系,该方法无法保证建模的可靠性。此外,根据模态数量,现有的套装兼容性建模方法可以分为单模态套装兼容性建模方法和多模态套装兼容性建模方法。单模态套装兼容性建模方法主要依赖于服装单品的单一模态信息,缺乏对服装单品多模态信息的充分利用。多模态套装兼容性建模方法通过有机融合服装单品的多模态信息,使得套装兼容性建模更加全面。尽管取得了显著的成果,现有的多模态套装兼容性建模方法侧重于挖掘套装内服装单品之间的模态内兼容关系(服装单品之间同一模态的兼容性),而忽略了模态间兼容关系(服装单品之间不同模态的兼容性),导致模型难以实现最优兼容性推理。为了解决上述问题,本文提出了一种面向套装兼容性建模的多模态图学习方法(Modality-Oriented Graph Learning Toward Outfit Compatibility Modeling,简称 MOCM-MGL)。该方法将套装建模成一个单品图,并使用图卷积神经网络挖掘套装内服装单品之间的模态内兼容关系和模态间兼容关系,进而实现套装兼容性建模。本文在Polyvore Outfits-ND和Polyvore Outfits-D数据集上进行了大量实验,实验结果证明本文提出的方法在套装兼容性建模任务上的有效性。