关键词： 中风预测   不平衡数据集   机器学习   结果改进   后置推断  

摘要： 在世界范围内,因中风引起的死亡人数逐年增多,中风发病对各国人口健康构成了严重威胁。我们迫切需要更加准确且灵活的预测模型来精准判断中风高危人群,帮助降低筛查成本和提前选择适当的治疗防御措施。近年来,机器学习在各种医疗保健系统的多个应用中迅速发展,它构建的复杂模型可提供准确快速的预测结果,目前已成为生物医学领域的强大工具,可为中风潜在患者提供个性化的预测手段。本论文采用的中风数据集共有5110条样本,而负样本仅有249例,数据集较为不平衡。研究思路为针对中风发病预测来进行建模分析。然而在生命医学领域,数据样本的预测模型建立后,人们通常使用机器学习预测的结果代替实际中不易获得的真实结果用于随后的统计分析与推断中,并且通常不考虑真实结果和预测的结果之间的区别。基于以上背景,本文采用SMOTE数据平衡技术(Synthetic Minority Oversampling Technique),基于三种在以往研究中表现良好的机器学习方法逻辑回归、支持向量机和随机森林进行中风发病预测及平衡处理前后各模型的训练效果对比,选取综合表现最好的模型进行预测结果改进及预测结果后置推断的参数验证,训练出最优的预测结果并将其与真实结果进行验证比较。SMOTE数据平衡后将原始样本中发病人群占比的5%提升至29%。在模型构建的过程中,可以明显看到数据平衡处理后的模型效果的提升。三种模型灵敏度与特异度的差距缩小,Logistic Regression模型准确率为77.0%,提高13pp;Support Vector Machine准确率为80.1%,提高11pp;Random Forest准确率为77.2%,提高18pp;AUC也有了很大的提高,SVM为0.83,提高了0.18。选择综合表现良好的平衡后SVM模型进行预测结果改进。线性SVM关系模型构建出最准确的预测值与真实值的关系。利用此关系模型和验证集的响应变量算出修正后的预测值,与未修正前的预测结果进行比较,未修正前准确率为79.74%,AUC值为0.829,修正后准确率为82.03%,AUC值为0.844,准确率提升2.29pp。最后采用参数自助法进行预测结果纠偏后的后置推断参数求解,在单参数推断模型中,修正后预测结果的参数与真实数据的参数推断结果最为接近,而未修正的预测结果的后置推断参数则具有较小的估计值和较大的T检验统计量,进一步验证了结论。

关键词： 多视角学习   字典学习   稀疏表示  

摘要： 随着信息技术的飞速发展,每个领域的数据都表现出井喷的增长趋势,对于同一个物体,可以通过不同的维度或方式进行描述,因此数据表现出特征维度高、数据结构复杂等特点,这在一定程度上推动了多视角学习(Multi-view learning)的发展。多视角数据来源于不同的领域或者采集器,不同的视角信息表现着数据的不同属性,如何充分利用视角间的共识信息以及每一视角独有的特征信息,从而提高分类的准确度,这始终是多视角学习的重点难点所在。近年来,字典学习作为特征学习的经典算法持续受到研究人员的关注,字典学习可以通过若干个字典原子的线性组合对信号进行重构,有效地学习样本背后关键的特征属性,并利用稀疏编码替代原始数据作为输入的表示。但是现有的研究成果中却较少有学者考虑字典学习与多视角学习的联合学习。为了更好地提高多视角学习的分类精度,本文提出了一种基于字典学习的多视角学习方法(Multi-view learning based on dictionary learning with consensus of view,MVDL-CV)。首先,我们在每一视角上进行字典学习,获得数据的稀疏编码表示。然后,我们对不同视角字典进行相互靠近的约束,从而更好地探究视角间的共识信息,这将有助于提高稀疏编码的判别性,以便后续标签分类器的训练与获得。在优化的过程中,我们利用交替优化的方法进行模型参数的求解。在实验部分,我们将MVDL-CV方法与基准方法在多个数据集上进行验证,实验结果表明MVDL-CV方法在分类任务上效果更好。综上所述,本文在结合字典学习的多视角学习问题上的工作和贡献可以概括如下:1.我们将字典学习融入了多视角学习的过程中,通过字典挖掘出视角数据背后关键的特征属性,利用不同视角字典间的关系解决了视角间相关性不足的问题。MVDL-CV还同时考虑了样本数据经过字典学习后得到的稀疏编码的判别性,与数据在原始特征空间中的内在结构。2.我们在每一视角上进行字典学习,充分探究样本的视角特征信息。由于不同视角数据具有相同的标签属性,因此我们在目标方程中考虑了视角数据的相似性。令不同视角字典的相互靠近,我们可以进一步获得视角间的共识特性,并确定不同样本间的相似性。经过字典学习后,输入样本可以获得具有稀疏性的表示。随后,我们将稀疏编码映射至标签空间进行分类器的训练学习,这不但降低了视角分类器学习的难度,而且在相同标签的约束下,学习得到的稀疏编码将具有判别性。在算法优化的过程中,我们使用了交替优化方法获得模型各参数的最优解,在实验部分,我们也展示了模型MVDL-CV的收敛性分析。3.我们从不同的角度组织了实验验证我们方法的有效性。通过与六个基准算法对比,实验结果表明MVDL-CV比其他方法在分类任务上能获得更好的表现,是一个更具有竞争力与稳定性的方法。

关键词： 用户建模   联邦学习   异质性   模型个性化   增强机制   深度知识追踪  

摘要： 得益于个人设备的发展,在过去的几十年里,大量的个性化应用程序得到了普及。与此同时,个人设备生成并储存了海量的个人数据。这种海量的个人数据中蕴含了诸如用户的兴趣偏好、知识能力等有价值的用户特征。因此,基于用户显式的行为数据,旨在建模用户潜在特征的用户建模任务逐渐成为了各种智能技术与应用的基础任务。通常,服务提供方或数据中心使用中心化的用户建模方法,这种中心化的用户建模方法不可避免地引入了数据滥用和隐私泄露的风险。出于保护个人隐私,避免数据泄露的目的,联邦用户建模方法获得了广泛关注。联邦用户建模希望通过联邦学习为用户建模提供安全的多客户端协作。近年来,研究者们开展了诸多针对联邦用户建模的方法和应用的研究。然而现有的联邦用户建模方法仍有待研究和可改进的空间。现有的联邦用户建模方法忽略了客户端之间的不一致性,导致了其在实际的用户建模场景的应用还有一定困难。具体而言,联邦用户建模面临着如下的关键挑战:1)统计异质性。不同个人设备、客户端的用户数据不总是独立同分布的(Independently Identically Distributed,IID),差异化的使用场景和习惯爱好导致了各客户端中包含着个性化的的信息和特征;2)隐私异质性。用户数据包含了具有不同隐私强度的信息,如公开信息和私有信息。对具有不同隐私强度信息的共享和保护程度应该被合理地平衡;3)模型异质性。各个客户端通常使用本地数据进行本地模型的定义和训练,这导致了本地用户模型可能存在异构,所以如何灵活地对异构的本地模型进行聚合也是需要考虑的问题;4)质量异质性。客户端中用户数据的质量存在着差异,低质量的信息会降低用户模型的可靠性,并抵消高质量信息的增益,这意味着来自高质量信息的影响需要被增强。针对以上挑战,本文对联邦用户建模方法进行了如下三方面的研究。首先基于联邦学习实现不一致客户端的用户建模,提出了分层个性化联邦学习框架(Hierarchical Personalized Federated Learning,HPFL)。进一步地,考虑加入增强机制,过滤掉噪声、稀疏信息和冗余信息等低质量信息,将分层个性化联邦学习框架拓展为增强分层个性化联邦学习框架(Augmented Hierarchical Personalized Federated Learning,AHPFL)。此外,在教育场景的动态用户建模任务中考虑教育数据质量异质性影响,提出了联邦深度知识追踪框架。总的来看,本文的主要研究内容和贡献有:1.提出了一个用于不一致客户端的分层个性化联邦学习框架HPFL。该框架遵循客户端-服务器架构。其中,客户端训练本地模型并上传包含隐私异构信息的分层模型成分从而加入联邦学习训练流程。此外,客户端使用一种针对统计异质性的细粒度个性化更新策略更新个性化用户模型。相应的,服务器在考虑隐私异质性和模型异质性的情况下,采用差异化的成分聚合策略灵活地聚合来自不一致客户端的用户模型。2.进一步地,提出了一个基于增强机制的增强分层个性化联邦学习框架AH-PFL。该框架中引入了增强机制,过滤掉低质量信息,增强高质量信息的影响。本文构造了 AHPFL的两种实现,即AHPFL-SVD和AHPFL-AE,其中框架的增强的机制分别基于奇异值分解方法(Singular Value Decomposition,SVD)和自编码器方法(AutoEncoder,AE)实现。3.提出了一个面向数据质量异质性的联邦知识追踪框架FDKT。该框架中,每个客户端负责训练一个独立的动态用户模型,即深度知识追踪模型DKT。客户端结合了不同的教育测量理论对数据质量进行评估,构造了 FDKTCTT和FDKTIRT两种实现。其中数据质量评估方法分别遵循经典测试理论(Classical Test Theory,CTT)和项目反应理论(Item Response Theory,IRT)。中心服务器负责聚合本地模型并更新所有客户端的参数。4.本文在真实数据集上进行了大量的实验。实验结果证明了本文所提出的HPFL框架,AHPFL框架以及FDKT框架的有效性。

关键词： AIS数据   深度学习   特征转换   航道提取   航行轨迹  

摘要： 近年来,随着物联网、大数据等技术的发展,移动物体产生了海量的时空轨迹大数据,对其进行分析并提取或学习道路信息成为研究热点。在海上交通领域,船舶的航道(或称规律路径)信息是一类重要的基础数据。利用来自船舶自动识别系统(Automatic Identification System,AIS)的海量船舶轨迹数据提取或学习航道信息,具有低廉、更新快等优势,是一种较有前景的途径。与陆地道路相比,海洋航道受气候、洋流、事故等各种外部因素影响,而且,与车辆轨迹数据相比,船舶轨迹数据具有数据质量差、数据密度在不同区域差异明显等问题,缺少标准的航道数据作为训练数据集,这些给海上航道的提取带来了较大的挑战。为了提高航道提取方法的鲁棒性,避免其受各种变化因素以及数据质量等影响,论文对基于深度学习的海洋船舶航道学习方法开展研究。论文工作的主要贡献和创新点包括:(1)针对现有工作无法进行细粒度的航道提取、以及缺少成对航道-轨迹数据训练集问题,提出了一种基于无监督方法的多特征结合学习航道的方法。分析了学习方法对多特征提取航道的有效性,选择了Cycle GAN作为训练模型。将矢量特征数据映射为平面数据时,使用HSV颜色空间存储了轨迹点更多的属性信息,同时对特征数据当中噪声静止点进行了清除。为了发挥模型提取航道能力,实验了7种不同生成器的提取效果。实验选择丹麦海域5930条船舶的AIS数据作为特征提取的数据集,构建了多特征的3072个特征文件。通过对比其他的学习方法,该方法学习到的航道连续性更强,航道具有细粒度的级别,并且学习到的无效航道更少。(2)针对随时间动态变化航道的学习方法研究,提出了一种基于EncoderDecoder LSTM(Long Short-Term Memory,长短期记忆)的航道学习方法。针对直接预测变化航道时面临航道数据集缺乏的问题,分析发现历史AIS数据可以对预测航道提供数据支撑。通过使用历史AIS数据预测航行轨迹,之后使用Cycle GAN从预测的航行轨迹中提取航道,可以达到提取随时间变化的航道的目的。实验借助直方图均衡化对信息不够突出的AIS轨迹数据进行了预处理。模型设计使用Conv LSTM代替了LSTM进行更多空间基础特征的捕获。实验选择渤海区域的AIS数据进行了间隔3天的轨迹预测,得到的轨迹可达到0.7956的精确率,0.8091的召回率和0.8022的F1值。同时对预测的航行轨迹结果进行了矢量化操作。(3)实现了海上细粒度航道学习和动态变化航道学习研究的验证性原型系统,提供了包括特征转换、航道提取和轨迹图像预处理以及轨迹预测的操作及展示界面,并且支持相关参数的调节。

关键词： 深海垃圾分类   深海垃圾检测   深度学习   Shuffle-Xception   ResNet50-YOLOV3  

摘要： 深海垃圾是指那些存留在海洋深处或者海底难以降解的废物垃圾。深海垃圾会对海底生物生存造成直接或间接性的威胁。深海垃圾在深海或海底存留时间长,清理难度大,严重污染了海洋环境。目前清理深海垃圾主要方式是通过人工操作水下潜水器机械臂来完成,效率不高。将深海垃圾分类和检测系统装载入自主水下潜水器(Autonomous Underwater Vehicle,AUV)以实现自主清理可以显著提高垃圾清理效率。但关于深海垃圾分类检测的数据集以及算法研究却非常稀少。由于深海垃圾特征的多样化和复杂性,用于分类检测海表面垃圾的算法也无法适用。因此创建关于深海垃圾分类检测的数据集和算法,对于推动AUV在海底自主分类、检测和收集海洋垃圾,促进海洋生态环境改善具有重要意义。本文研究内容如下:(1)构建了深海垃圾分类数据集和检测数据集。基于日本海洋地球科学技术厅(Japan Agency for Marine-Earth Science and Technology,JAMSTEC)在线提供的深海垃圾数据库,生成了真正的深海垃圾分类数据集(Deep-sea Debris Images dataset,DDI dataset)和检测数据集(Deep-sea Debris Detection dataset,3-D dataset)。数据集共包含7类垃圾:金属、玻璃、塑料、橡胶、渔网&绳索、布和天然垃圾。(2)考虑到深海垃圾的类内多样性和类间相似性,本文构建了深海垃圾分类模型Shuffle-Xception。Shuffle-Xception采用深度可分离卷积提取深海垃圾信息和高级特征,并采用组卷积来提高分类效率和模型的表示能力;同时,采用通道混洗策略挖掘特征图组间的通道信息;最后采用残差连接以使网络更深更容易学习。实验结果表明,该方法优于卷积神经网络方法,具有高精度深海垃圾分类的潜力。(3)为了提升深海垃圾检测的速度和精度,本文提出了单阶段深海垃圾检测网络ResNet50-YOLOV3。深海垃圾检测网络采用YOLOV3(You Only Look Once,YOLO)的多尺度探测器,能够实现快速准确检测。ResNet50(Residual Network)主干分类网络具有很强特征抽象能力,能进一步提高检测准确性。本文通过实验验证了ResNet50-YOLOV3的性能,实验结果表明了ResNet50-YOLOV3在深海垃圾检测中的适用性和有效性。

摘要： 项目化学习在课程改革的背景下逐渐流行起来。在中小学校广泛开展项目化学习的当下，本文就项目化学习与罗杰斯人本主义教育观内涵进行横向对比，试图通过深化二者的契合点来研究项目化学习的核心意义。同时，通过对二者差异性的分析，进一步探究项目化学习存在的不足以及未来的发展方向。项目化学习与罗杰斯人本主义教育观的契合点项目化学习是基于问题的一种学习模式，以学生为主体，以各类实际情景为学习开端，驱动学生围绕问题寻求解决方法。此模式试图通过提高学

关键词： 流量   陆面水文模型   LSTM   集合预报   梯级水库  

摘要： 水库调度是管理水资源的重要手段,有利于防洪、抗旱和水电能源开发。径流预报能够为水库调度提供未来的径流信息,具有重要的指示作用。然而,大部分陆面水文模型难以细致刻画水库调度对河流流量的动态影响,限制了水文气象集合预报在梯级水库流域的应用。另一方面,机器学习方法可以基于数据建模,近年来被广泛用于径流模拟,但其预见期有限,需要与物理模型有机结合。鉴于此,本论文利用气象集合预报驱动陆面水文模型进行流量模拟,使用机器学习方法校正结果,以广西红水河岩滩水电站区间流域为研究对象,进行了洪水可预报性来源分析和回报试验,对入库流量预报技巧及预报系统的各部分相对贡献进行系统性的评估。在了解开放流域在小时尺度上的径流特性的基础上,提升了径流预报的精度。主要有以下结论:1)利用率定后的陆面水文模型揭示初始水文条件和气象强迫对小时、日、月尺度的径流预报影响。经对联合地表地下过程模型(CSSPv2)的产流及汇流参数率定后,CSSPv2对月尺度和日尺度的流量模拟较好,在2003-2017汛期径流模拟的纳什效率系数(NSE)分别为0.96和0.92。逐小时流量模拟的NSE可达到0.61。基于该模型开展水文可预报性试验并采用确定性指标评估,发现不考虑流域上游放水情况时,初始水文条件对岩滩水电站逐小时入库流量预报的影响时效在1日以内,其中初始水文条件影响时效在4月和7月达到最大,且影响时效随降雨量的增加而缩短。若采用概率性预报指标,则初始水文条件影响时效有所增加。当考虑上游来水影响时,初始水文条件和土壤湿度对径流预报的相对贡献也随之减小。此外,初始土壤湿度对径流预报的相对贡献和与其记忆性存在较大关联。2)耦合数值天气预报及长短期记忆模型(LSTM)后显著改善了小时尺度的径流预报。经偏差校正后的TIGGE-ECMWF降水和气温集合平均预报优于51个成员中的最佳预报结果,其中降水预报的均方根误差(RMSE)为14.6mm/d,相关系数为0.44;气温预报的RMSE为1.3K,相关系数为0.87。对于逐小时的入库流量预报,加入数值天气预报(TIGGE-ECMWF)后流量确定性预报误差和概率预报误差较传统的集合径流预报均减小了6%。经LSTM长短期记忆模型校正后,在前72小时预见期,流量预报误差得到进一步缩小,RMSE平均减小6%,最大可减少25%。然而,仅使用历史观测入库流量作为输入的LSTM模型预报误差,在24小时预见期后迅速增加。3)进一步,在此基础上构建了基于气象-水文-机器学习的径流预报系统,并于广西红水河岩滩水电站区间流域进行实时预报和评估。实时预报评估结果表明:24小时、48小时、72小时预见期的日流量预报合格率分别为87.3%、70.4%、75.5%,达到甲级或乙级预报精度标准,满足发布正式预报的精度要求;6小时短临流量预报产品的NSE达到0.73,合格率达到62.7%,为丙级预报精度标准,满足发布参考性预报的精度要求。本论文针对受上游来水影响的岩滩水电站区间流域,评估了初始条件和气象强迫对洪水预报的影响时效,同时结合了机器学习方法以及陆面水文模型的优势,使陆面水文模型可更好地应用在水库入库流量的预报。

关键词： 群体行为识别   深度学习方法   图卷积网络   自注意力机制  

摘要： 视频是当今社会主流的媒体传播形式,自动识别出视频中由多个个体组成的群体执行的行为在智能监控、智慧交通、体育赛事分析等领域都有着广阔的应用前景。然而,视频内容和个体关系的复杂性给识别群体行为的任务带来了巨大的挑战。论文利用图卷积网络、自注意力模块、运动特征提取模块等深度学习方法对群体行为识别领域现有研究方法的不足进行了改进,具体研究内容分为以下三个部分:针对相似的个体动作信息对群体行为识别造成的冗余干扰问题,论文提出了利用多尺度图卷积网络对群体进行分组融合的方法,通过逐步将群体中多个个体抽象为数量较少的几个小组的操作,有利于减少多个相似个体之间存在的冗余信息;并且将图卷积处理前后的相同尺度的多个小组特征进行融合,有利于丰富小组特征的语义信息。该方法在公开的The Volleyball Dataset数据集上达到了 91.62%的群体行为识别准确率,相较于基准网络提升了 0.22个百分点。针对图卷积网络感受野有限,对于远距离个体关系信息可能会造成丢失,以及自注意力机制不善于提取图结构的个体关系特征的问题,论文设计了将图卷积模块与自注意力模块相结合的网络结构,通过不同方式充分融合图卷积提取到的局部个体关系特征和自注意力模块捕捉到的远距离个体节点特征依赖,丰富了群体特征的表达。该方法在公开的The Collective Activity Dataset 和 The Collective Activity Extended Dataset 数据集上分别达到了 91.58%和93.03%群体行为识别准确率,相较于基准网络分别提升了0.58和0.16个百分点。传统的方法局限于利用个体间空间特征上的约束关系构建个体关系图,而忽略了个体随时间变化的运动信息之间的关联。针对此缺陷,论文提出了基于运动特征改进个体关系图构建的算法。首先设计了运动特征提取模块,该模块适合于提取群体中多个个体随时间变化的运动特征,然后通过计算个体间运动特征的关系值改善个体关系图的构建,以反映群体中更加真实的个体间交互关系,最后将运动特征提取模块嵌入到个体关系图网络中完成了群体行为的识别。实验结果表明基于运动特征改进的个体关系图网络在 The Collective Activity Dataset,The Collective Activity Extended Dataset 和 The Volleyball Dataset 数据集上分别达到了 92.16%,94.37%和91.62%的群体行为识别准确率,相较于基准网络分别提升了 1.16,1.5和0.22个百分点。

关键词： 中国共产党   党史   共青团   青年  

摘要： 新时代共青团开展党史学习教育具有重要意义，不仅有助于坚定青年的马克思主义信仰，树牢“四个意识”，增强“四个自信”，做到“两个维护”，而且能够涵养青年爱党、爱国、爱社会主义的情怀，利于培养担当中华民族伟大复兴大任的时代新人。共青团开展党史学习教育，不仅要向青年传授党史知识，更要着重培养青年的正确党史观，引导青年从党史中汲取历史经验，激励青年以实际行动传承与弘扬党史文化。在开展党史学习教育的实践中，共青团应坚持时间与空间相统一、历史与现实相统一、知识与价值相统一、显性与隐性相统一，把开展党史学习教育的力度转化为引导青年为实现中华民族伟大复兴中国梦而奋斗的精神动力。