关键词： 残差网络   变分原理   非线性椭圆型方程   线弹性方程   双调和方程  

摘要： 本文给出了一种基于深度学习的偏微分方程数值方法,求解了非线性椭圆型方程、线弹性方程、四阶双调和方程。我们使用深层网络表示偏微分方程的数值解。在无残差连接和有残差连接两种结构中,我们追溯数值解的构造过程,推导了函数偏导数的更精确表示。然后我们通过变分原理得到能量泛函,加入边界项的约束,进而构造出偏微分方程的损失函数,再使用具体网络结构下函数偏导数的更精确表示替代差分方法用以表示导数,使得模型使用更少参数且损失函数更加精确。最后,我们给出了数值算例。

摘要： 习近平总书记指出,"虽有智慧,不如乘势",了解历史才能看得远,理解历史才能走得远。在全党开展党史学习教育,是牢记初心使命、推进中华民族伟大复兴历史伟业的必然要求;是坚定信仰信念、在新时代坚持和发展中国特色社会主义的必然要求;是推进党的自我革命、永葆党的生机活力的必然要求。这对教育引导全党胸怀中华民族伟大复兴战略全局和世界百年未有之大变局,树立大历史观,从历史长河、时代大潮、全球风云中分析演变机理、探究历史规律,提出因应的战略策略,增强工作的系统性、预见性、创造性具有深远的价值意义。

关键词： 企业信用   数据库   主成分分析   神经网络   决策树  

摘要： 随着中国经济的飞速发展,我国金融市场的开放程度逐渐打开,由风险投资带来的不良违约率也在逐年上升,因此建立有效的企业信用评估体系及评估模型已显得尤为重要。本文的研究主要包括绪论,机器学习理论、实证分析、模型结论四个章节。首先,依据信用评估的准确性、系统性、科学性、可操作性等原则,构建包含流动比率、总资产增长率、资产报酬率等共计59个指标的信用评估指标体系。利用My SQL技术,对来自国泰安数据库,瑞思数据库和中经网统计数据库的2020年经营中的4082家上市公司的样本数据进行整合,清洗,前后两期插补,并进行数据的缺失值分析,异常值分析与多重共线性问题检验。其次,利用主成分法对数据进行降维处理,消除指标间的共线性问题,依据特征值接近于1,提取24个综合指标,列出主成分与指标间的线性表达式,并计算其得分值,将样本的得分值作为后续模型的特征属性。再次,将训练集与测试集样本按照违约样本与非违约样本的不同,按照7:3的比例进行划分,再通过调节神经网络模型与决策树模型的参数,进行对比分析,建立了包含2个隐含层,激活函数为逻辑S形,初始学习率为0.4的BP神经网络模型。接着建立生长法则为CHAID,最大树深度为3,最大迭代次数为100的决策树模型。然后,利用K-近邻算法、朴素贝叶斯算法、支持向量机算法、逻辑回归模型及多元判别分析进行多模型比较。最后通过混淆矩阵计算各模型的准确率、第一类错误率、第二类错误率及样本的几何均值来评估模型。结果表明,双层BP神经网络和决策树模型的准确率分别为0.982和0.984,在众多模型中准确率较高,且决策树模型的两类错误率分别为0.0038,0.2187,两类错误率最低,因此决策树在企业信用评估中表现出的综合性能最优。对比于传统的逻辑回归模型,机器学习方法在大样本的情况下对于企业信用评估优于逻辑回归模型。

关键词： 动态治疗方案   电子健康记录   动态匹配学习方法   加权支持向量机  

摘要： 近年来无论在临床实践、计算机科学领域,还是在统计学领域,精准医疗的研究热度都越来越高,而估计个性化治疗方案是精准医疗的核心任务。动态治疗方案(DTR)是根据患者的个性特征以及每个治疗阶段的中间结果,给出的顺序治疗决策方案。由于患者具有异质性,并且许多疾病十分复杂且具有长期性,因此我们需要估计最佳的DTR以便为患者提供更好的治疗。对此目前提出了很多种统计学习方法来估计最佳动态治疗方案,这些方法的数据大多来源于随机化试验。但是由于试验数据不易获得,使得数据有限,由此产生了一定的局限性,这些数据不能支撑我们在现实环境中做出最佳的个性化动态治疗决策。而大规模的电子健康记录(EHR)记录了患者的真实数据,为我们给出最佳动态治疗方案提供了可能。在此基础上,我们提出了一种估计最佳动态治疗方案的匹配学习方法(DML)。在我们的匹配学习方法中,我们依据向后归纳思想,利用匹配到的样本均值去近似我们后一阶段给定最优治疗方案的值函数。这种新的学习方法不同于现有的多种方法,它没有采用逆概率加权法,而是基于匹配的方式,来更准确地评估个人对替代治疗的治疗反应,减轻混杂。并且我们的方法没有假设结果模型,同时不需要去估计倾向得分,因此结果更加稳健。在计算最佳动态治疗方案的过程中,我们采用易操作的加权支持向量机方法,并通过模拟数据的方式将我们的方法与现在比较流行的几种方法做了比较,对比了在倾向得分复杂与简单的情况下,我们的方法与其它方法的结果,通过大量的模拟研究发现,当倾向得分被错误估计时,我们的DML方法明显优于已有的那些方法。

关键词： 胶质母细胞瘤   O6-甲基鸟嘌呤甲基转移酶   甲基化   磁共振成像   影像组学   深度学习  

摘要： 【目的】探究影像组学以及深度学习方法在胶质母细胞MGMT基因启动子甲基化状态预测中的应用价值,并构建一个自动、方便、低成本及无创的预测模型,为胶质母细胞瘤的个性化治疗提供依据。【材料与方法】回顾性收集106例胶质母细胞瘤患者的O6-甲基鸟嘌呤甲基转移酶（MGMT）基因启动子甲基化状态信息以及相应的术前MRI资料,最终获得87例CE-T1WI和66例FLAIR图像。一方面,我们首先通过逐层手工勾画肿瘤最大边界获取感兴趣区,将图像标准归一化预处理后,提取传统影像组学特征,然后经过数据降维和方差分析（ANOVA）特征筛选后,采用支持向量机（SVM）构建一个传统影像组学模型预测胶质母细胞瘤MGMT基因启动子甲基化状态。最后,绘制受试者工作曲线（ROC）评估每个模型的准确性、敏感性、特异性、阳性预测值和阴性预测值及曲线下最大面积（AUC）以决策最优分类预测模型。另一方面,我们设计了一套端对端的深度学习管道用以自动分割以及分类预测胶质母细胞瘤MGMT基因甲基化状态。在自动分割模块,我们在全卷积网络模型（FCN）上增加了一个变分自编码器（VAE）分支,然后通过计算Dice系数评估自动分割准确性,再通过计算每个MR切片手工分割和自动分割的平均消耗时间评估自动分割速度性能。在分类模块,我们自行设计了一个4层卷积神经网络（4-CNN）模型,然后将该模型与自动分割模块级联,通过计算模型在训练组及验证组上的准确率、召回率、精密度和F1值及曲线下最大面积（AUC）评估预测模型性能。【结果】1.利用传统MRI影像组学特征可以预测胶质母细胞瘤MGMT启动子甲基化状态;基于手工分割的传统影像组学模型在CE-T1WI与FLAIR图像上的预测水平接近（准确率分别为0.6898、0.6861,AUC分别为0.6593、0.6861）。2.利用常规MRI深度学习方法分割的自动分割模型具有较好肿瘤分割性能。与CE-T1WI相比,FLAIR图像具有更好的肿瘤分割性能（Dice系数分别为0.828、0.897）;相对于手工分割相比,自动分割模型具有更快的分割速度（CE-T1WI以及FLAIR序列上每个MR切片自动分割的平均时间分别为0.11秒、0.07秒,对应手动分割平均时间为50秒、60秒）。3.利用常规MRI深度学习方法可以预测胶质母细胞瘤MGMT启动子甲基化状态;与CE-T1WI相比,基于FLAIR图像的深度学习模型具有更好的肿瘤预测性能（准确率分别为0.804、0.827,AUC分别为0.8866、0.9052）。【结论】常规MRI深度学习以及传统影像组学方法对于预测胶质母细胞瘤的MGMT启动子甲基化状态有较好的预测价值,但深度学习方法预测价值更优。此外,相对于影像组学手工分割方法,深度学习对于肿瘤的自动分割更具优势,它可以节省时间,避免在肿瘤分割中观察者间的差异,并有助于从常规医学图像中发现分子生物标记物,以帮助诊断和治疗决策的制定。

关键词： 联邦学习   移动边缘计算   用户挑选  

摘要： 随着物联网技术的飞速发展,用户设备可在本地生成大量数据,并利用这些数据使用人工智能技术提取有用信息,进而实现检测、分类和未来事件预测等。然而,考虑到有限的网络带宽和隐私问题,这些数据通常都无法直接上传至远程的服务器来处理。移动边缘计算的出现使得在网络边缘也可以实现本地数据的存储和处理,这是因为边缘节点,如移动设备、网关等通常都具备存储和计算能力。此外,机器学习技术可用来从物联网设备存储的数据中提取有用的信息,但是直接获取用户数据常常面临着用户的数据隐私和安全问题。基于上述背景,一种新式的分布式机器学习算法,联邦学习,应运而生。联邦学习能够让多方协作训练模型的同时,避免数据的收集和共享,非常适合处理物联网设备中的本地数据。然而,尽管联邦学习能够使用户设备协作训练全局模型而无需向服务器共享他们的隐私敏感数据,它仍然面临着一个重要的挑战,即联邦学习的训练数据往往是非独立同分布的,而这会使模型在训练过程中受到偏扰,进而导致模型的精度下降。为了减轻用户设备中非独立同分布数据导致的模型精度损失,本文提出了一种基于设备选择的联邦平均算法。首先,本文定义了用户设备间的权值差异,并通过实验验证了用户设备数据的非独立同分布程度越高,其权值差异越大,进而可识别出数据分布较均匀的用户设备。然后根据上述结论,本文设计了一种基于权值差异的用户选择机制以及联邦平均算法,使得数据非独立同分布程度较低的用户设备可以更频繁地参与训练。与传统的联邦学习算法相比,该方法利用了数据均匀分布的用户设备来缓解非独立同分布数据造成的负面影响。为了验证CSFed Avg的有效性,本文在公开数据集CIFAR-10以及Fashion MNIST上进行了实验。结果表明,相较于以往方法,CSFed Avg在减轻非独立同分布数据的影响并提高模型的准确度方面,均取得了最优的效果。

摘要： 随着新课改的推出和应考要求的变化,学习方法在学科教育中的地位愈发重要,学习方法与学习内容的有机统一,成为初中数学的重要内容.基于教育创新的发展背景,初中教育愈发注重同学们学习技巧方面的科学指导.毕竟,好的学习方法能使大家在数学学习中事半功倍,能活跃思维,开阔视野,在有效的学习中获取尽可能多的知识.同时,好的学习方法,也能深化同学们的实践素养和探究能力,在数学知识的研习中养成良好的学习习惯和学习方法.

摘要： 党的十九届六中全会审议通过的《中共中央关于党的百年奋斗重大成就和历史经验的决议》(以下简称《决议》)指出:"党确立习近平同志党中央的核心、全党的核心地位,确立习近平新时代中国特色社会主义思想的指导地位,反映了全党全军全国各族人民共同心愿,对新时代党和国家事业发展、对推进中华民族伟大复兴历史进程具有决定性意义。"迈进新征程、建功新时代,必须深刻理解"两个确立"的决定性意义,学懂弄通"两个确立"的内涵、重要性和实践要求,从而赢得更加伟大的胜利和荣光。

关键词： 航迹预测   广播式自动相关监视   数据挖掘   条件变分自动编码器   贝叶斯优化   网络结构搜索  

摘要： 民航飞机根据4D航迹飞行是从起飞、爬升、巡航、下降、着陆全阶段进行空间三维和时间维度的精细化控制,而基于4D航迹的运行将是未来空管系统的核心运行概念。空中交通情况复杂多变,飞机的轨迹会受到天气、管制等诸多因素的影响,但在实时系统中,如何充分利用飞机的位置和状态信息做出快速有效的分析和预测,为系统或管制员提供实时的参考信息,已成为该领域的一个研究热点。随着广播式自动相关监视(ADS-B)的推广,各飞机的实时位置和动态可以被地面站和其它飞机所获取,高频率的历史轨迹数据和实时数据,为飞机航迹的模式挖掘和模式识别提供了宝贵的信息。然而,目前存在的问题是:迭代式的4D航迹预测得到的轨迹点较为稀疏,实时性不强;ADS-B数据的利用率低,信息并未充分挖掘;自动构建深度神经网络应用模型的方法时间成本高、对硬件的需求大。因此,结合空中交通管理(ATM)的需求,本文深入分析了大量ADS-B历史数据,研究了能以直接法进行预测的深度生成模型、特征提取算法和网络结构自生成算法,针对4D航迹预测的具体任务,提出了一个分步模型结构自生成策略和一个基于自生成深度神经网络的4D航迹预测算法,并通过实验分别分析了模型的生成过程和算法的预测精度、时间延迟等,验证了策略和算法的有效性。此外,本文还针对高密度的ADS-B数据提出了一个数据压缩策略,提高了模型结构搜索的时间效率。本文从实现系统辨识的角度对研究内容进行了任务分解,从数据分析和预处理,到理论分析和技术选择,到策略和算法的提出和验证,最后通过一个基于4D航迹的流量预测应用场景,检验了模型的精度和效率。实验结果表明,相较其它研究和实现方法,本文提出的策略能够较高效得生成所需应用模型,且具备可扩展性;所提出的算法实现了预测精度更高、实时性更强的4D航迹预测任务。

关键词： 新型Spiking神经网络模型   时空误差反向传播   多脉冲学习方法   模式识别  

摘要： Spiking神经网络(SNN),作为第三代人工神经网络(ANN),模拟了大脑中神经元的信息处理方式,具有高度的仿生性和生物可解释性。相比于第一代ANN(使用M-P模型作为网络的计算单元)和第二代ANN(通过非线性的激活函数来处理线性不可分问题),SNN因为其独特的信息编码和处理的方式,具有更强大的计算能力。但是目前常见的SNN模型在计算上都非常复杂,不利于网络模型的扩展,而且也缺乏比较高效的算法。为了研究扩展性更强的SNN模型,以及更高效的学习算法,本文主要做了以下工作:(1)通过对一些经典的Spiking神经元模型和网络模型的工作原理及对应的优缺点的分析,本文提出了一种同时具有生物可解释性、计算高效性和可扩展性的新型Spiking神经元模型——ISNM,并将该模型扩展为在时间和空间维度上可迭代计算的新型Spiking神经网络模型——ISNM-SNN。由于该网络模型具有迭代计算的特性,无论是在模型的计算方面,还是网络模型的扩展方面,都比传统的SNN模型更高效。(2)为了将ISNM-SNN模型与多脉冲学习方法相结合,从而能更好地利用脉冲模式中携带的大量信息,本文提出了一种基于多脉冲学习方法的时空误差反向传播算法——STBP-MSL,并且通过与同类型算法之间的对比实验,证明了该算法是一种高效的多脉冲学习算法。(3)为了探索ISNM-SNN模型和STBP-MSL算法在模式识别问题中的处理能力,本文首先设置了时间置信分配问题上的实验,验证了经过STBP-MSL算法训练后的SNN能准确地识别出隐藏在干扰信息和噪声中的线索,同时也具有很强的鲁棒性。然后本文将该网络模型和算法分别应用到鸢尾花分类任务和语音识别任务中,并且都取得了比较好的效果。另外,为了验证探索SNN层数与分类效果的关系,本文在语音识别任务中还设置了双层SNN和三层SNN的对比实验。