关键词： 行政规范性文件   概念   认定  

摘要： 近年来,国务院对加强行政规范性文件制定和管理作出一系列重要部署,国家层面首次就行政规范性文件的概念作出权威界定。本文结合传统学术界的概念界定和现行行政实践规定,对行政规范性文件的概念进行解析,试归纳行政规范性文件所应具备的行政性、涉及权利义务性、公开性、普遍约束性、反复适用性特征,进而对行政规范性文件的认定进行再认识,兼评行政规范性文件认定存在争议的问题。

关键词： 高维数据分析   特征排序   变量选择   交叉项选择   多重检验  

摘要： 现代生物医学与经济金融领域产生的高维数据中包含对经济金融活动,生命遗传信息与生理过程的多方面的记录。高维数据为许多科学问题提供了丰富的描述但同时也在建模,计算和预测方面带来了挑战。从海量的高维数据中定位有用的信息,发现数据的低维结构,对提升统计分析的解释力,降低计算成本和进行预测都具有重要意义。 在统计学中,模型结构学习这一任务在高维数据分析,非参数统计和统计机器学习等不同领域都被广泛地研究。其中,高维变量选择,也被称为稀疏学习,是模型结构学习的重要部分。模型结构学习中的其他任务,比如参数非参数效应识别,交叉项效应识别的许多研究都基于变量选择的思想和技术。变量选择的目的在于在尽可能保留数据中有用信息的同时,剔除无关变量,这可以避免冗余变量导致的模型过拟合,同时降低计算成本。此外,在超高维数据(Ultra-high Dimensional Data)的背景下,模型结构学习往往更具挑战性。有统计学家提出,使用无模型的特征筛选方法初步筛选出部分变量,然后再基于这部分变量进行模型结构学习,可以显著提升后续分析的效率。同时近年来,重要变量识别的可解释性与可重复性在应用中被广泛关注,有学者开始致力于对变量选择结果进行量化的评价,在变量选择问题中引入多重检验的思想,对变量选择的错误发现率(False Discovery Rate)进行控制。在本文的第1章中,我们对这些问题做了一个简要的综述。 在本文的第2章,我们研究了结合网络信息的特征筛选问题与其在生物基因组标记物识别中的应用。大多数现有的特征筛选方法都基于特征和响应变量之间的边际相关关系,并存在一个共同的局限性,即特征之间的依赖(网络)结构没有得到很好的利用。在本章中,我们提出了一种结构化特征排序方法,通过拉普拉斯正则化有效地在特征筛选中结合了网络结构。本章提出的方法创新性地研究了多种网络情况,每种网络可以包含不同的相依信息。其中网络可以是已知的,也可以是根据数据估计的。此外,我们严格探讨了网络中的噪声和随机性对最终结果的影响,并通过适当选择调整参数控制其影响。这些特点使我们提出的方法具有特别广泛的适用性。本章方法在较为宽松的条件下,对一般的Kirchnoff矩阵形式的网络信息都给出了统计理论的保证。同时,我们通过大量的模拟以及基于The Cancer Genome Atlas数据库黑色素瘤数据的分析,证明了所提方法在有限样本上的有效性和实用性。 在本文的第3章,我们给出了一个基于多重检验的对高维Cox模型进行变量选择和错误发现率控制的方法。高维生存数据的统计推断在包括生物医学研究和金融风险管理的许多领域中被广泛应用,对稳健的可复现的科学发现提供了重要的方法支持。在这项工作中,我们开发了一种新的基于不均匀数据分割、对称统计量和纠偏估计量的错误发现率控制方法(False Discovery Rate Control)。不均匀数据分割的想法首次是在线性回归问题中被提出,本文将其推广到生存数据中,以提高多重检验的检验功效。相较于目前常用的基于P值的方法,基于对称性的统计量在有限样本的情况下表现更加稳健,因为它只取决于估计系数在两个独立子数据集中的独立性,对估计系数的渐近正态性没有要求。我们通过广泛的模拟研究和一个关于P2P贷款的真实案例研究,说明了我们所提出的方法的优越性和潜在的广泛可用性。 在本文第4章,与现有的大多数方法不同,本章提出了一个通用的、新颖的框架,通过在可再生核希尔伯特空间(Reproducing Kernel Hilbert Space,RKHS)中使用非结构化的M-估计来估计目标函数的真实结构。本章提出的框架基于一个简洁的思想:梯度函数可以作为学习函数真实结构的有效工具。本章的方法框架可以应用于稀疏学习、交互项选择和参数非参数效应识别问题。在高维问题中,我们利用RKHS的计算有效性,可以极大降低计算负担。更重要的是,它可以应用于许多一般的损失函数,因此可以解决不同数据类型下的数据预测和分类问题。在本章中,我们在不施加任何明确的模型设定的情况下对所提出的方法在多种损失函数下建立了渐近理论。本章方法的优越表现也通过模拟和一个基于乳腺癌数据的真实案例研究来进行了说明。 最后,本文中所有方法都有使用R软件进行编程实现的软件包,以便其他研究者使用和参考。

关键词： 深度强化学习   无人驾驶   车辆控制   Stanley法   人工势场法  

摘要： 无人驾驶技术具有减少道路伤害,提高通行效率等作用,非常具有研究意义。要想让无人驾驶成为可能,前提是要让车辆具备和人类驾驶者一样的“感知”、“思考”和“决策”能力。对此,深度强化学习(DRL)提供了解决方案。DRL结合了深度学习和强化学习的优势,同时拥有出色的场景理解和时序控制能力。本文使用DRL方法对无人驾驶车辆进行端到端的控制,由于该控制问题面临复杂的状态空间和动作空间,因此选用深度确定性策略梯度算法(DDPG)作为控制算法。通过对算法进行实验评估,我们指出了其在应用过程中存在的问题,并且提出一个结合外部知识的DRL算法框架作为其解决方案。最后以车道保持和避撞任务为例,展示了该框架的具体运用,并在TORCS平台上验证了所提方法的有效性。 本文的主要研究工作如下: (1)结合TORCS仿真平台的特点,进行了面向无人驾驶车辆控制的DDPG算法设计,并对DDPG算法进行了评估。根据实验评估结果,指出了DDPG算法在应用过程中存在的问题,包括训练效率低下,学习到的驾驶策略不符合类人逻辑等。 (2)分析了DDPG算法中出现问题的原因,并针对这些问题提出了一个结合外部知识的DRL算法框架,该框架适用于基于AC架构,且输出确定性策略的一类DRL算法。为了展示框架的具体应用,以车道保持和避撞任务为例,分别挑选Stanley法和人工势场法作为外部知识与DDPG算法相结合,并给出了与算法的结合细节。 (3)为了验证所提结合算法的有效性,在TORCS平台上进行了大量仿真实验,并将其与DDPG及TD3算法进行比较。实验结果表明,对于车道保持和避撞任务,所提结合算法有更高的学习效率,学习到的驾驶策略有更好的表现性,且具备更强的泛化能力。

关键词： 强化学习   课程强化学习   表示学习  

摘要： 将课程学习应用到强化学习中构成了课程强化学习,是强化学习领域近年来新兴的研究方向之一。课程学习是一种训练策略,模仿了人类学习过程,课程相当于由易到难的一系列任务,策略先从容易任务开始学习,并逐渐过渡到复杂任务,通过逐渐提高任务的难度或环境的复杂度,让策略迁移到困难任务,最终得到复杂目标任务上的最优策略。相比于直接学习目标任务,这种方式能够获得更接近全局最优的结果,并且提高了学习效率,能够解决复杂任务。然而,如何实现在策略训练的过程中根据策略的学习结果自动建立课程是一个困难的问题。因此,研究如何实现自动生成课程,并应用课程强化学习方法来解决复杂任务和提高学习效率具有重要的研究意义。本文提出了一种基于任务表示的课程自动生成方法,主要贡献有以下两方面: (1)提出了基于变分自编码器(VAE)的任务表示学习方法。为了实现课程自动生成,需要得到中间任务分布,利用VAE将任务空间参数映射到隐空间从而得到更平滑的任务表示。在每一个任务对应的环境中执行策略完成一个完整回合,采样得到轨迹。轨迹编码器的输入是一个转移,输出是多个高斯分布,对一个回合的轨迹隐变量分布相乘作为任务的隐空间表示。解码器对隐变量解码还原奖励和下一个状态。另外,有一个任务解码器将隐空间映射回任务空间,从而具备新任务的预测和生成能力。实验结果显示,本文所提出方法将任务空间变换到隐空间,从而获得了更平滑的表示。 (2)提出了中间任务分布生成的课程强化学习方法。在基于任务表示的基础上,策略首先在初始分布上训练,当训练充分后,VAE学习到了一定的任务表示,然后在隐空间中预测新的任务表示。最后,由任务解码器还原回任务空间得到新的任务分布,用新的任务分布替换旧的任务分布作为中间任务分布。通过不断更新中间分布直到达到目标分布,实现课程建立。该过程中任务表示和策略同步学习,通过彼此的反馈来构建课程。本文提出了两种任务更新方式:隐空间预测更新和探索边界任务更新,分别利用隐空间上的插值并解码到任务空间和隐空间上估计探索边界任务来生成新的中间任务分布。在实验中本文所提出算法的表现明显优于基线算法,验证了本文所提出方法的有效性。

关键词： 锡林郭勒盟草原区   机器学习   草地地上生物量   干旱脆弱性  

摘要： 草原生态系统作为自然生态系统的重要组成部分,为畜牧经济发展提供了重要的牧草资源,对调节气候变化和维持生态系统平衡起着非常重要的作用。锡林郭勒盟草原地处干旱/半干旱区,随着气候变化以及人类活动的影响,加之该区域较为单一的植被类型导致草原生态系统脆弱性明显增加,对其进行定量的脆弱性评价变得十分重要。草地地上生物量(Above Ground Biomass,AGB)是草原生态系统获取能量、固定二氧化碳的物质载体,代表初级生产力的基本水平,决定了草原承载草畜的能力。草地AGB的变化直接反映草原退化、草场荒漠化的程度。当前利用表征植被绿度长势的遥感指数来进行干旱脆弱性研究较多,对植被生产力开展干旱脆弱性的相关研究较少。有必要深入了解干旱胁迫下的锡林郭勒盟草地AGB的干旱脆弱性。因此,本文以锡林郭勒盟为研究区,利用多年草地AGB实测数据、气象站点数据、遥感数据等多源数据。基于机器学习方法建立了草地AGB估算模型,开展了草地AGB的反演研究,对2000～2020年锡林郭勒盟草地AGB的时空变化特征进行了分析。接着,基于气象站点数据计算了锡林郭勒盟草原短期、中期、中长期以及长期时间尺度SPEI(Standardized Precipitation Evaporation Index,SPEI),同时对其进行了时空变化特征分析。在此基础上结合干旱脆弱性理论,探究了研究区长时间尺度不同草原类型的干旱脆弱性。研究结果如下:(1)三种机器学习算法建立的草地AGB估算模型中,随机森林算法建立的模型精度最高。各种特征变量的贡献率分析结果表明,植被要素的贡献率均比较高,而地形要素的贡献率较低。2000～2020年锡林郭勒盟草地AGB整体呈现波动性增加的趋势,2013年草地AGB最高,而2009年达到草地AGB最低值。空间上草地AGB呈现从东北向西南逐渐减少的空间分布特征。各种草原类型中,典型草原AGB总量最高,草甸草原次之,荒漠草原最少。锡林郭勒盟12个下辖旗县中,东乌珠穆沁旗、西乌珠穆沁旗的草地AGB较高,苏尼特左旗、苏尼特右旗和二连浩特市的草地AGB较低。(2)2000～2020年锡林郭勒盟草原发生的累积干旱主要以轻旱为主,不同时间尺度SPEI在各种草原类型中发生的干旱存在差异。典型草原中,SPEI-3和SPEI-24发生轻度干旱的频率最高分别达到28.6%和14.3%。草甸草原中,SPEI-24发生轻度干旱的频率最高达到19.0%,SPEI-1发生中度干旱的频率最高达到14.3%,SPEI-3和SPEI-12发生严重干旱的频率最高分别达到9.5%和4.8%。荒漠草原中,SPEI-6发生轻度干旱的频率最高达到19.0%,SPEI-48发生中度干旱的频率最高达到19.1%,SPEI-1严重干旱的频率最高达到9.5%。其它草原中,SPEI-24发生轻度干旱的频率最高达到23.8%,SPEI-1发生中度干旱的频率达到19.0%,SPEI-3发生严重干旱的频率最高达到4.8%。(3)锡林郭勒盟草地AGB的暴露度分析发现,大部分区域呈现出无旱状态,2011～2015年干旱主要发生在苏尼特右旗,2016～2020年干旱主要发生在阿巴嘎旗北部。锡林郭勒盟草原干旱敏感性计算结果显示,各种草原类型中草甸草原干旱敏感性最高,荒漠草原干旱敏感性较低。干旱适应性计算结果表明,2000～2005年锡林郭勒盟草原干旱适应性最低,2011～2015年间干旱适应性普遍较高。干旱脆弱性研究结果显示,苏尼特左旗和苏尼特右旗在各个研究时间段内展现出较低的干旱脆弱性,而东乌珠穆沁旗和西乌珠穆沁旗的干旱脆弱性普遍较高。本文的研究结果,对于科学调整草畜关系、保护生态环境安全、实现草地资源可持续发展具有重要意义。

关键词： 高维时间序列数据   潜在因子模型   机器学习   股票日收益率预测  

摘要： 随着信息时代的进一步发展,各种数据被广泛地应用于各行各业中。本文研究的是高维时间序列数据,高维数据的主要特点是数据维度较大,在模型识别和参数估计方面存在困难。为了更好地对高维时间序列数据进行建模估计,文章将机器学习模型引入潜在因子模型中,并利用股票日收益率等数据对国证300指数相关市场进行分析。Chang等(2015)提出了一种具有潜在因素、内生性和非线性的高维随机回归模型,该模型将可观测因素引入模型中,且未对回归项和潜在因素回归过程施加平稳条件,但模型的不足在于使用线性估计拟合可观测因子部分。传统的线性估计对非线性数据和其他具有更复杂内在关系的数据拟合效果不佳,导致参数估计效果受到影响。近年来随着机器学习的发展和应用,各种机器学习模型在非线性数据建模方面具取得了一系列的成功,因此本文考虑在Chang等(2015)的基础上,对可观测因子部分采用机器学习方法进行估计,得到估计后的残差部分,然后基于此残差部分对潜在因子过程进行因子估计,并据此构造了基于机器学习方法的潜在因子模型。模型在可观测因子部分引入的机器学习方法能够显著地提升其对于非线性数据的拟合能力,进而提升对残差部分的预测准确性,从而提升后续的参数估计准确性。文章对上述基于机器学习的潜在因子模型以潜在因子个数r的识别准确率和未知因子载荷矩阵的估计效果为评价标准进行数值模拟实验,设计了一个线性数值模拟部分和两个非线性数值模拟部分。结果发现,基于机器学习的潜在因子模型在这三个数值模拟部分相较于基于线性估计和多项式估计的潜在因子模型表现更好,特别是在非线性数值模拟部分,参数估计更加准确,且更加稳定。通过对2015年1月至2022年12月的国证300指数相关行业股票日收益率数据进行实际数据分析发现,基于机器学习的潜在因子模型能很好地对参数进行估计,而且在预测效果对比部分,无论是整体预测还是分行业预测,其效果都更好。

关键词： 隐私计算   联邦学习   差分隐私   异构数据  

摘要： 联邦学习可以在客户端原始数据不出本地的情况下,联合多个客户端协同训练全局模型,能够有效解决数据孤岛问题。然而,联邦学习仍然面临着客户端数据分布的异质性问题和客户端隐私泄露等问题与挑战。一方面,由于实际场景中不同客户端的数据分布差异较大并且服务器在每轮训练过程中会随机选择客户端参与,这会使全局模型的更新方向出现震荡,从而显著降低全局模型的收敛速度。另一方面,已有大量工作指出,即使客户端只上传模型参数,攻击者依然能够根据上传的信息推理出客户端的本地数据信息。因此,本文针对以上两个问题开展面向异构数据的隐私增强联邦学习方法研究,具体内容包含以下两点: (1)针对训练过程中服务器随机选择客户端参与训练导致全局模型更新方向震荡的问题,本文提出基于聚类分组的联邦学习方法FedGroup。该方法通过将联邦学习过程分为分组阶段和训练阶段来挑选出具有代表性的客户端,从而降低全局模型更新方向的震荡程度。分组阶段利用输出层参数计算客户端之间的相似性,并基于数据量和距离生成初始聚类中心以及对预分组的结果进行优化。训练阶段在从分组中抽取客户端时,采用基于数据量的加权抽样策略。本文对FedGroup方法进行了实验评估,结果表明本文所设计的FedGroup方法能够在保证模型精度的同时显著提升收敛速度。 (2)针对本文设计的FedGroup方法中聚类分组阶段和训练阶段客户端上传的模型参数可能泄露客户端隐私的问题,本文进一步提出了基于KPCA和个性化差分隐私的聚类分组联邦学习方法FedGroup-PDP。该方法在分组阶段使用经过KPCA处理后的输出层参数对客户端进行聚类分组。该方法在训练阶段考虑客户端个性化隐私偏好的同时,通过计算每个客户端在全局模型更新方向上的投影对隐私保护需求过高的客户端进行标记,并限制其参与后续的训练过程。本文对FedGroup-PDP方法进行了实验评估,结果表明本文所设计的FedGroup-PDP方法在分组阶段没有上传原始输出层参数实现隐私保护的同时仍能够保证聚类分组的效果,并且在训练过程中满足客户端个性化隐私保护需求的同时降低差分隐私机制对全局模型性能的影响。

关键词： 跨模态检索   无监督哈希   矩阵分解   鲁棒范数   离散优化  

摘要： 当前是信息化发展的新阶段,人工智能、人机交互和万物互联等技术日新月异,以文字、图片和视频为代表的多模态数据呈现出数量多、维度高和结构复杂等特点。与此同时,人们不再满足于单一模态的相似性查询,而是期望实现不同模态间的交叉检索,即跨模态检索,例如以图搜文或以文搜图等。如何高效地实现跨模态检索,满足人们日益多元的检索需求,已成为信息检索领域的研究热点之一。无监督跨模态哈希学习凭借其检索效率高、存储成本低、良好的可扩展性的优势在大规模检索领域得到了广泛的关注。无监督跨模态哈希旨在探索不同模态的数据分布和几何结构,将原始高维数据映射成二进制编码,同时保持原始数据的相似关系。虽然现有的基于无监督哈希学习的跨模态检索方法取得了一定的效果,但仍存在一些不足,因此本文探索了两种基于无监督哈希学习的跨模态检索方法,具体内容如下。针对潜在语义挖掘不充分、模型鲁棒性差的问题,本文提出了一种基于跨模态一致性保持的可扩展无监督哈希,简称为SUH。该方法结合多模态聚类和联合矩阵分解技术,探索异构数据间的隐含语义标签和公共特征嵌入。此外,在这两个过程中引入了鲁棒范数,有效缓解可能存在的异常值对模型稳定性的干扰。基于此,将隐含的语义标签和公共特征嵌入关联在一起去重构多模态数据的鲁棒一致性,并将它们融合到统一的哈希码中。最后,SUH能够高效地优化模型,并且可以直接学习离散的哈希码,而不是采用会导致较大误差的松弛策略。进一步地,为了获得模态间更丰富的关联信息,同时有效地提升模型训练效率和在大规模数据集上的可扩展性,本文提出了一种基于跨模态语义感知的快速无监督哈希,简称为FUCH。具体而言,FUCH设计了一种新颖的联合矩阵分解模型,通过挖掘模态间潜在的类别属性来学习公共表示,并引入柯西损失函数度量分解过程。上述过程可以有效地将潜在的语义判别信息嵌入公共子空间中,同时增强模型对异常值的鲁棒性。另外,FUCH设计了一种耦合投影模型,既学习模态特定的哈希函数来捕获模态内的个体属性,又学习模态共享的哈希函数来探索模态间的关联属性。该方法无缝地将基于语义感知的矩阵分解和耦合投影学习集成在统一的哈希学习框架中,在汉明空间中同时保持原始空间的潜在类别语义、模态内的个体语义和模态间的关联语义,有助于生成高质量的哈希码。在优化过程中,该方法不仅保持哈希码的离散特性,还通过一种高效地更新策略,使得训练时间大幅度提升。最后,在三个公开的数据集上进行了广泛的实验,验证了本文方法的有效性。

关键词： 因果推断   倾向得分   机器学习   标准化死亡比加权法  

摘要： 随着人工智能的不断发展,因果推断已经成为统计学和数据科学的核心问题之一,人们开始关注如何在一种现象已经发生的情况下,得出因果关系结论.相比于机器学习,因果推断其独特的可解释性使其受到关注.在观察性研究中应用倾向得分始终是因果推断研究的重点,但如何精确地估计倾向得分值却始终被协变量和处理变量之间不确定函数关系等问题所阻碍.目前有研究提出,在估计倾向得分过程中引入非参数的机器学习方法,或许是实现准确估计倾向得分的一种手段.在标准化死亡比加权法的基础上,本文提出利用机器学习方法优化倾向得分模型.其思路核心是通过机器学习方法代替传统逻辑回归估计倾向得分权重,进一步消除治疗组与非治疗组的协变量分布差异.因此本文首先使用模拟数据验证了各种倾向得分模型的性能.根据协变量和处理变量之间的线性以及可加性不同关联程度,本文在不同情景下分别通过逻辑回归模型、支持向量机模型、神经网络模型、随机森林模型以及广义增强模型(GBM)来估计倾向得分权重.结果表明,逻辑回归遇到不可加和非线性的条件下会表现不佳,而集成方法可能对协变量平衡更加有用.最后本文以SEER数据库的真实数据为实验背景,对五种倾向得分模型进行实证分析.利用倾向得分模型评估了癌症导向手术(CDS)对低转移胰腺导管腺癌(PDAC)患者存活率的影响,并对比了不同模型的因果推断过程和结果.通过平衡协变量和估计处理组平均效应,证实CDS可以有效延长低转移PDAC患者的总生存期.实证分析同时表明神经网络、随机森林以及GBM模型的平衡性以及稳健性均优于传统逻辑回归模型.