关键词： 网络表示学习   属性网络   变分自编码器   不完全信息   聚类  

摘要： 网络是一种普遍存在的数据表示形式,被广泛用于描述事物之间的复杂关系,例如社交网络、引文网络和通信网络等。对网络进行数据挖掘和分析能够获得许多有价值的信息,并有助于对网络的深层次理解。网络表示学习的目标是将原始网络中的节点进行特征提取,并将其映射到低维的潜在空间中,为下游任务提供高效的数据支持,进而提升机器学习算法的效率和性能。然而,现有的多数网络表示学习算法主要依赖于网络结构信息,较少考虑到网络中普遍存在的链路缺失情况;同时也经常忽略网络中节点所呈现的社区或类结构,导致得到的网络表示学习结果缺乏区分性。为解决上述问题,本文在现有的网络表示学习方法基础上进行改进,主要工作内容如下:针对现实场景中结构信息不完整的情况,本文提出了一种基于不完全信息的深度网络表示学习方法(Deep network representation learning method on incomplete information networks,DNRL)。考虑到节点属性信息较丰富且容易获得,将网络结构信息和节点属性信息进行动态融合生成转移概率矩阵,弥补结构信息不完整带来的过大损失,接着利用少量的标签信息来指导变分自编码器模型学习有区分性的节点低维表示,并捕获网络数据中潜在的高度非线性特征。在Cora、Citeseer和Wiki三个真实网络数据集上进行了节点分类和链路预测实验,结果表明本文提出的模型具有较高的有效性和鲁棒性,即使在网络链路稀疏的情况下,也能学习到高质量的节点表示。针对传统表示学习模型与聚类任务分离,较少考虑网络中类结构的情况,本文在上述模型的基础上提出了一种无监督保持聚类的属性网络表示学习方法(Cluster-preserving attribute network representation learning method,CNRL)。由于数据规模化带来的计算和存储压力,在结构和属性信息编码阶段采用球树算法进行优化,之后在变分自编码器的潜在特征部分添加聚类模型对网络进行约束,通过反向传播优化网络,从而得到同时保留属性网络潜在聚类结构和节点近邻结构的节点低维表示。在Cora、Citeseer和Wiki三个真实属性网络上的实验结果表明,本文提出的模型能够有效提高聚类任务的精度,在可视化任务中能更清晰地反映节点的团簇关系。

关键词： 小学语文   学习习惯   学习方法  

摘要： 随着社会的发展,对学生学习习惯与方法的培养提出了新的要求。在课堂教学过程中,教师应积极改革教育模式和创新教学策略,学生也应养成适合时代的学习习惯,优化学习方法。文章针对目前小学语文教学的实际状况,浅谈小学生语文学习习惯与方法的培养。

关键词： 留守儿童   学习焦虑   研究意义  

摘要： 学习焦虑现象在留守儿童的特殊群体中表现得非常显著,根源主要在于留守儿童欠缺父母的日常呵护与关爱,从而造成留守儿童无法在父母的引导与监督下培养良好日常学习习惯,并且容易产生压抑与自卑的消极情绪心理。在此前提下,目前针对留守儿童群体有必要深入思考与探索儿童学习焦虑情绪的形成根源,结合留守儿童的心理情绪特征来实施有效的教育引导。

关键词： 全局与局部特征   卷积神经网络   行人重识别   多分支网络  

摘要： 如今社会发展迅速,监控系统的使用提高了社会公共安全性。从这些监控视频中获取某个人的行踪轨迹,仅靠人工的方式排查效率很低,行人重识别技术便是为了解决此问题。行人重识别（Person re-identification Re ID）是对给定行人目标进行跨设备搜索,对于在当前摄像头下的行人目标,能够在其它不同的摄像头中将该行人目标识别,方便分析其行踪。本文采用卷积神经网络对行人重识别进行的研究如下:首先,论文对当前研究的各种算法做了一个总结,分析图像中的各种特征、数据集的选择、评价指标。通过比较各种网络模型的结构与性能,选择目前在行人重识别领域广泛应用的网络ResNet50作为基础网络,该网络由于残差结构的设计可以训练较深的模型。其次,通过对行人图像特征的研究,选择结合全局特征与局部特征的方式来作为网络的设计核心。全局特征的计算很快,对网络输出的特征图谱采用全局池化便可得到,它的缺点是如果图片受到遮挡,或者行人姿态变化较大,那么判别效果会很差。而局部特征可以在一定程度上保留图片的空间信息,虽然局部特征也没有过多的考虑姿态变化的影响,但是相比于引入姿态估计增加额外的训练成本,这种直接利用图片全局和局部特征结合的方式是最为合理的。最后,采用ResNet50网络并对其后两层卷积部分进行改进,兼顾全局特征与局部特征,利用多种损失函数的组合来提高网络性能。整体网络结构为端到端的设计,网络改进部分分为三个分支,用来提取不同尺度的特征,这些不同尺度的特征融合具有更好的抗干扰性,更全面地表达出图片的信息。在损失函数的组合设计上,采用分类损失与三元组损失组合的方式。本文对改进的算法模型进行实验,在常用的行人重识别数据集上取得了很好的准确率,研究结果表明模型是有效的。

关键词： 深度强化学习   非平稳环境   多智能体   游戏操作   机器人控制  

摘要： 近年来,深度强化学习逐渐成功地应用到了视频游戏、围棋、扑克、机器人控制等多个领域,但是仍然面临诸多问题与挑战,如样本效率低,探索与利用困境,对超参数敏感,收敛性和可复现性差等等。尤其是在环境的动力学(指状态转移函数和奖励函数)发生变化的情况下,深度强化学习算法显得尤不稳定。在这样的复杂环境下,如何获得高效、稳定、通用的强化学习方法是一个非常重要的研究方向。针对上述问题,本文分别在单智能体和多智能体场景下展开研究,主要工作和创新点如下:在单智能体场景下,提出了一种基于上下文变量的软行动者评价者方法(LC-SAC)。该方法引入了一个隐上下文编码器模块,利用循环神经网络结构,输入由状态,动作和奖励组成的经验三元组,输出一个隐上下文向量。通过优化对比预测损失函数,使得上下文变量捕获了环境动力学和智能体最近行为的信息,其对于动力学变化环境下的策略优化至关重要,然后结合软策略迭代范式,交替地进行软策略评估和软策略提升。实验结果表明,在动力学变化明显的连续控制基准MetaWorld ML1任务上,LC-SAC算法的性能显著优于SAC算法,在动力学变化不明显的MuJoCo任务上,它的性能与SAC相当。同时,本文还做了相关比较实验以确定不同超参数设置对算法性能的影响,并给出了算法的超参数设置建议。在多智能体场景下,提出了一种基于值函数分解的多智能体软行动者评价者方法(mSAC)。该方法有效地融合了多智能体强化学习领域的值函数分解方法和基于策略梯度的方法,主要模块包括分解式的Q值网络架构,离散概率型的策略和反事实优势函数等。理论上,mSAC支持高效的离轨策略学习,并可同时应用在离散和连续动作空间任务上。在实时策略游戏星际争霸Ⅱ的微操作基准测试中,通过实验研究了 mSAC针对其变体算法的性能比较,并分析了不同模块的影响。实验结果表明,mSAC的性能明显优于基于策略梯度的方法COMA,并且在大多数任务上和基于值函数的方法Qmix达到了相同的渐进性能。而且,mSAC在智能体具有相对较大动作空间的任务上取得了显著优于Qmix的效果。综上,针对复杂环境存在动力学非平稳的问题,本文分别在单智能体和多智能体场景下提出相应的改进算法,取得了良好的实验效果,具有实际的应用价值,对领域的发展具有一定的推动作用。

关键词： 虚拟现实   全景视频   显著性预测   运动状态检测   网络传输优化   体验质量衡量  

摘要： 如今,虚拟现实技术的飞速发展和VOD(视频点播)的视频分享市场使在线360度视频成为互联网媒体的一种新形式。在过去的几年中,人们提出了许多360度视频传输优化,主要集中在360度图像/视频的压缩方法上。然而,高分辨率的360度视频需要较高的网络带宽,否则将遭受视频质量显著下降的困扰。因此,提出一种有效的基于图像区块的360度视频质量调整以减少网络/存储消耗,同时保持良好的视频质量的方法具有现实意义。本文的主要内容是设计了360度图像及视频的传输优化系统。研究致力于通过将深度学习的显著性检测方法与运动状态检测结合使用,将视频分为显著的前景视图和不重要的背景视图,从而调整360度图像/视频质量,同时降低传输消耗。系统首先通过显著性预测将一帧分为前景帧和背景帧。然后,通过使用新提出的D-MS SSIM连续帧结构相似性差分值算法,系统能检测到关键变化帧并估计前景、背景或整个视图的运动状态。接下来系统降低动态背景视图质量的同时保持高质量前景,将360度视频分成两个视频。在网络传输过程中,两个视频的文件大小/比特率总和相较原视频要小得多。最后,本文提出的体验质量衡量方法结合了主观和客观标准,可以评估处理前后的视频/图像质量变化情况,以验证系统设计的有效性。该系统设计的核心贡献在于,它能够提出一种新的优化系统来检测VR图形的显著前景和不引人注意的动态背景,并且能够有效地判断每个景的运动状态。服务可以执行高质量前景和降低消耗的背景的并行传输,从而节省了网络资源。由于处理过程将加剧本地计算资源的处理成本,因此该系统实际上在网络传输成本和计算资源成本之间取得了平衡。本文进行了四个实验:显著性预测模型比较,运动状态检测,文件大小及比特率优化和体验质量评估。结果证明,与传统的360度图像/视频优化相比,该新方案可以将视图分为稳定的高质量显著区域和动态低质量非显著区域,从而有效地减少了网络的全局传输带宽;与此同时,在降低传输消耗的同时,用户观看时不会损失太多体验质量。

摘要： 本书通过列车运行优化实现正点情况下的列车全局节能。从高速列车重复运行的特点出发,将迭代学习控制理论用于高速列车的控制器设计中。考虑一类具有状态延迟的非线性参数严反馈系统,设计了自适应迭代学习控制方案来解决给定的参考轨迹跟踪问题;考虑轮轨之间的粘着动态以及空间变化的不确定性,

关键词： 深度学习   智慧城管   城管图像数据集   图像生成   案件识别   物体定位   生成对抗网络   弱监督学习  

摘要： 近年来,随着城市的发展越来越快,城市管理的任务变得越来越重,要求也变得越来越高,传统的“数字城管”已逐步进化为大数据支撑的“智慧城管”。智慧城管系统数据库中存储着海量的城管图像,它涵盖了城市中各种复杂的街道场景和几乎所有的城管案件类型。因此,如何充分地挖掘和利用这些图像数据,从而更好地实现智能化城市管理,是一个重要的研究课题,具有很高的科学价值和应用价值。目前,学术界还不存在公开的大规模的智慧城管图像数据集,因此,制作并推出一个大规模且高质量的数据集是该研究领域的首要任务。然而,城管图像中存在着大量的人脸隐私信息,在人脸信息安全日益被重视的今天,防止隐私泄露是数据集公开必须要解决的问题。案件识别是智慧城管场景理解中最基础的任务。借助它,可以快速准确地识别城管巡逻人员拍摄上传的照片内或城市监控摄像头实时画面中存在的案件,进而通知相应部门前往处理,实现自动化、智能化的城市管理。由于城市场景十分复杂且部分案件的关键物体较小,准确识别案件类型非常困难。因此,研究并解决这些问题是突破当前算法识别率瓶颈的关键。在案件识别的基础上,定位城管场景中的关键物体也尤为重要,它可以帮助实现更为高效精准的城市管理。使用传统的全监督物体定位或检测算法需要花费大量的人力来标注物体边界框,而近年来提出的弱监督物体定位算法又存在着定位物体不完整和定位过多背景等问题。本文主要研究内容是基于深度学习的生成(Generation)、识别(Recognition)与定位(Localization)算法在智慧城管图像场景理解中的应用。研究结合了生成对抗网络(Generative Adversarial Networks,GAN)和弱监督学习(Weakly Supervised Learning)等前沿技术。论文的主要工作和创新如下:1)构建了城管图像数据集—UMC。学术界目前还没有一个公开的可供研究的城管图像数据集。本文首先采集清洗了 15万张城管图像,制作推出了第一个大规模智慧城管图像数据集。其涵盖19个常见的城管案件场景。此外,本文使用了图像生成与处理算法对数据集质量进行了提升,其中包括提升图像分辨率的图像超分算法,以及消除运动模糊的图像去模糊算法。实验表明,在处理后的UMC数据集上,识别算法准确率提高了 0.4-0.6个百分点,定位算法准确率提高了 0.7-0.8个百分点。2)针对城管场景中的人脸隐私保护问题,提出高保真的人脸生成与替换算法FIT-GAN及AP-GAN。算法可以使用任意指定身份(sourceidentity)或者虚假身份(fakeidentity)替换掉图像或视频中的目标人脸身份(target identity),在不影响图像或视频质量和观感的前提下有效保护人脸隐私,便于数据集的公开。本文提出的算法无论在视觉效果上还是在各种性能指标上,都领先于目前最先进的人脸生成与替换算法。3)提出一种双向特征通道与多级分类器融合的城管案件识别算法。针对城管场景复杂、部分案件关键物体较小等问题,本文提出Multi-Level Ensemble Network(MLEN)。MLEN 在网络浅层引入分类器,利用浅层特征辅助识别,最终使用多分类器集成(multi-classifier ensemble)的方式得到预测结果。同时,本文详细分析了引入浅层分类器对神经网络的影响,并提出“特征通道”(Feature Transfer Path,FTP)。在UMC数据集上,MLEN取得了 0.884的识别准确率,比主流的识别网络高出了 2个百分点。此外,在公开数据集上,只有92层的MLEN取得了 0.576的识别准确率,比主流识别网络中性能最好的拥有131层的DPN高出了 0.6个百分点。这足以说明MLEN可以在使用更少的参数量的同时实现更精准的案件识别。4)提出一种可以强化目标并抑制背景的自适应注意力增强模块,显著提升弱监督物体定位算法在城管场景中的应用效果。为改善主流弱监督定位算法无法定位完整的目标物体以及定位过多背景的缺陷,本文提出了 一种自适应注意力增强模块(Adaptive Attention Augmentor,A3),它可以方便地嵌入到任何识别网络中,在注意力图(attentionmaps)上自适应地增强物体注意力(objectattention)并抑制背景注意力(background attention),从而准确定位目标物体。在ILSVRC数据集上,A3比主流的弱监督定位算法的定位准确率高出了2个以上的百分点。在CUB-200和Cars-196数据集上,A3也同样达到了 state-of-the-art的水平。相比主流弱监督定位算法,A3对城管图像中的关键物体的定位准确率也高出1个以上的百分点。综上所述,本文首先构建了研究领域内第一个大规模的城管图像数据集—U

关键词： 机器学习   差分隐私   间隔分布   分类   类别不平衡   经验误差最小化   模型重用  

摘要： 随着互联网与大数据的蓬勃发展,以机器学习为代表的人工智能技术在给我们带来便利的同时,也对隐私造成了巨大威胁。差分隐私是常见的隐私保护技术,本文对此进行研究,受近年来优化间隔分布的学习机制启发,设计了新型差分隐私机器学习方法,主要成果如下:(一)提出了适于差分隐私保护的间隔分布分析算法MDA。该算法将间隔分布的优化目标拆分为能被差分隐私优化器高效求解的强凸函数,并通过平衡两类间隔均值来缓解类别不平衡的影响。理论分析表明,即便类别严重不平衡,MDA仍能在隐私约束中达到较好的间隔分布;实验验证了其具有收敛速度快、鲁棒性好、参数不敏感等优点。(二)提出了更好求解间隔分布优化目标的隐私-公开随机梯度下降算法PPSGD。该算法利用少量公开数据,在差分隐私随机梯度下降中动态地控制隐私预算与梯度裁剪,并借鉴模型重用的思想微调结果。理论分析表明,PPSGD对非公开数据仍可保障差分隐私;实验验证了其能够有效改善差分隐私经验误差最小化的性能,显著优于已有方法。

关键词： 前交通动脉瘤   破裂风险   机器学习   预测模型  

摘要： 目的:通过回顾性分析破裂前交通动脉瘤患者与未破裂前交通动脉瘤患者的一般临床资料与动脉瘤形态学特征,利用Logistic回归方法与机器学习方法,得出前交通动脉瘤破裂的独立危险因素,并建立前交通动脉瘤破裂风险预测模型,为临床治疗决策提供帮助与参考。方法:利用青岛大学附属医院临床科研大数据平台,检索出在2012年12月至2021年1月期间就诊于青岛大学附属医院的前交通动脉瘤患者信息。后利用电子病历系统,查询并收集患者的一般临床特征,之后在医院影像系统上测量收集与前交通动脉瘤相关的CTA影像学形态学特征。采用R软件(4.0.4版本)对收集的患者临床特征、形态学特征数据进行处理及分析。对患者的特征数据进行一般资料比较分析,后纳入临床特征及形态学特征为预测因素,分别选用传统的Logistic回归、机器学习中的分类树、随机森林、人工神经网络及集成模型的方法建立前交通动脉瘤破裂预测模型,计算预测模型的准确度、敏感度、特异度等指标,并分别绘制受试者工作特征(ROC)曲线,比较几种预测模型的曲线下面积(AUC)。结果:本研究共回顾性纳入符合标准的前交通动脉瘤患者436例,按入院时动脉瘤破裂与否将纳入研究的患者分为破裂组与未破裂组。前交通动脉瘤破裂引起蛛网膜下腔出血的破裂组患者共263例,未破裂前交通动脉瘤患者173例。其中以下特征两组患者差异无统计学意义:性别占比、吸烟史、高血压病史、动脉瘤朝向、蛛网膜下腔出血病史。而两组患者的年龄、动脉瘤高度、瘤颈宽度、形态不规则、A1优势征差异有统计学差异,且经多因素Logistic回归分析后,亦为前交通动脉瘤破裂的独立危险因素。破裂组患者年龄为57.30±10.18岁,而未破裂组年龄为60.53±9.80岁,破裂组患者较未破裂组更为年轻,P=0.001。破裂组患者动脉瘤的高度为5.74±2.77mm,而未破裂组患者为4.68±2.59mm,破裂组患者动脉瘤高度明显大于未破裂组患者,差异有统计学意义,P<0.001。破裂组患者动脉瘤瘤颈宽度为2.71±1.06mm;未破裂组患者为2.97±1.48mm,破裂组患者动脉瘤瘤颈宽度小于未破裂组,P=0.033。破裂组患者中,动脉瘤形态不规则的患者有150例,占比为57.0%,而未破裂动脉瘤患者中形态不规则的患者有52例,占比为30.1%,破裂组患者中形态不规则患者的比例明显高于未破裂组,P<0.001。破裂组中具有A1优势征的患者176例,占比66.9%,未破裂组中具有A1优势征的患者81例,占比46.8%,破裂组中有更多比例的患者具有A1优势征,P<0.001,差异有统计学意义。将入组患者按照随机抽样方法按7:3比例分为训练集与测试集。在训练集数据中建立预测模型并在测试集中对模型进行验证。应用传统Logistic回归方法建立列线图预测模型并应用于测试集,ROC曲线下面积(AUC)为0.781(95%CI:0.690-0.871),在0.436截断值下,模型的效能最优。在该截断值下,在测试集中预测的准确率为0.782(95%CI:0.699-0.851),敏感性为0.833,特异性为0.711,一致性检验Kappa值为0.549。根据相关研究,选用机器学习中的分类树、随机森林、Xgboost及人工神经网络方法建立预测模型,并应用于测试集。其ROC曲线下面积(AUC)分别为:0.716、0.733、0.774、0.733。经对比,在测试集中,上述机器学习方法所建立预测模型与Logistic回归方法所建立列线图预测模型有类似的效能。后纳入数种底层模型建立集成模型,并同样在测试集中进行验证。以集成模型方法建立的预测模型ROC曲线下面积(AUC)为0.810(95%CI:0.725-0.894),最佳截断值为0.331。在该截断值下,在测试集中预测的准确率为0.774(95%CI:0.690,0.844),敏感性为0.722,特异性为0.846,一致性检验Kappa值为0.550。利用Delong测试方法对比ROC曲线下面积(AUC)。相比于传统Logistic回归方法建立的列线图预测模型,经机器学习方法建立的集成模型的效能更优,差异有统计学意义(P<0.05)。结论:患者的年龄、动脉瘤的高度、瘤颈宽度、A1优势征、动脉瘤形态不规则是前交通动脉瘤破裂的独立危险因素。多因素Logistic回归建立预测模型,并绘制列线图,能较好的对前交通动脉瘤的破裂风险进行预测。应用机器学习中的分类树及人工神经网络方法,能取得与Logistic回归类似的较好模型效能表现。应用机器学习中的集成模型方法,能构建较传统的Logistic回归方法效能更优的预测模型。在面对未破裂的前交通动脉瘤时,本研究可以为治疗决策的制订提供参考,可能具有一定的临床应用价值。