关键词： 需水预测   机器学习   区域建模   可解释性人工智能   SHAP方法  

摘要： 需水预测旨在基于历史及当前水资源利用状况和经济社会发展动态,预估未来一定时期内的水资源需求,是水资源规划与管理的核心环节之一。目前我国正处于加快构建国家水网、全力推进南水北调后续工程高质量发展的关键时期,准确的需水预测是科学确定水资源配置工程总体布局和工程规模的重要基础,对于保障我国中长期水资源安全具有重要意义。我国现有的需水预测成果面临较大的争议,预测值与实际值存在较大偏差,不同专家学者使用不同方法得到的结果也大相径庭,这无疑降低了预测结果的可信度和实用性。面对传统需水预测方法准确度不足,尤其是难以捕捉需水量与其驱动因素之间复杂非线性关系等问题,本研究基于机器学习方法,提出了区域建模策略,构建了可解释性模型模块,探索了若干模型精度改进方法。在此基础上,构建了基于机器学习方法的高精度可解释需水预测模型,基于模型对水资源需求与主要驱动因素关系进行了解译分析,并在典型地区进行了应用。研究为需水预测提供了新的思路和方法,主要研究成果包括: （1）构建了基于机器学习方法的高精度可解释需水预测模型。提出了结合区域建模策略和可解释性人工智能技术的建模方法,区域建模策略通过为多个城市建立一个统一的预测模型,解决了需水预测领域的数据稀缺问题;同时,可解释性人工智能技术通过为黑盒模型提供易于理解的模型解释,增强了模型的透明度和可信度。基于所提出的模型,设置了三个实验以探索不同机器学习改进方法对需水预测模型性能的影响,并使用基于Shapley Additive exPlanations（SHAP）方法的解释模型对预测结果进行解释,实现主要驱动因素的识别和量化分析。 （2）提出了引入静态属性、纳入先验知识以及应用迁移学习策略等模型精度提升方法。在样本内测试集中,引入静态属性后有76%的城市准确度得到提升,模型的对称平均绝对百分比误差（SMAPE）中位数从15.19%降低至10.57%。在样本外测试集中,引入静态属性后有高达89%的城市准确度得到改善,SMAPE中位数从23.27%降低至13.32%。表明静态属性能够为模型提供有价值的信息,可以广泛改善各个城市的预测性能。基于对需水预测问题的理解,提出了一种新的混合损失函数,能够减少单一损失函数带来的固有偏见。结果表明,基于混合损失函数、MSE损失函数和MSAPE损失函数的模型SMAPE中位数分别为9.74%、10.57%和10.39%,SMAPE>40%的城市分别为2个、3个和9个。最后,研究发现迁移学习策略适用于需水预测领域,能够广泛改善模型性能。该方法的应用显著提高了模型在各个城市的准确度,模型的SMAPE中位数从9.96%下降至8.36%。在城市个体角度,进行测试的198个城市中有170个性能得到改善,同时,SMAPE>40%的城市数量从3个减少至0个,表明绝大多数城市均能从迁移学习策略中受益。 （3）识别出了水资源需求的主要驱动因素,并对其与水资源需求的非线性关系进行了量化分析。其主要驱动因素为常住人口、平均气温、耕地面积、第一产业增加值、建成区面积和累积降水,这些因素的重要性分别为30.9%,15.9%,7.1%,6.3%,3.9%和2.6%,共计66.7%。考虑静态属性（纬度、经度和城市面积等）后,累积重要性超过90%。随后,基于SHAP方法量化了水资源需求与主要驱动因素之间的非线性关系。结果表明,这些非线性关系普遍存在并呈现出高度的复杂性,包括明显的边际效应递减现象、分段函数关系以及阈值效应等。 （4）以北京市为典型区进行了模型应用。将所提出的模型在京津冀地区13个城市进行验证与比对后,对北京市2035年的用水需求进行多情景预测,发现其需水量范围为39.20～42.66亿m3,其中,最有可能情景的需水量为40.91亿m3,与北京市近五年年均用水量基本一致。

关键词： 联邦学习   个性化模型   聚类算法   原型对比学习   表征学习  

摘要： 在大数据时代的浪潮中,生活中的数据正以指数级的速度迅猛增长,推动机器学习技术快速发展。然而,传统的机器学习方法,即将数据集中存放在一个或多个数据中心的做法,已无法满足人们对个人隐私和数据安全的需求。为了解决以上问题,联邦学习作为一种非集中式的机器学习范式被研究人员提了出来。参与联邦学习的客户无需向服务器发送本地的私有数据,服务器与用户之间通过模型更新的中间信息进行通信,大大降低了数据泄露的危险。通过客户之间的彼此协作,联邦学习能够整合所有用户的私有数据,提高数据的使用率。然而,联邦学习仍然面临着许多挑战,其中最关键的一个挑战就是数据异构问题。为了解决联邦学习中存在的数据异构问题,本文主要作了以下工作: (1)基于数据分布的个性化联邦学习 为了解决数据异构中的数量倾斜问题,本文提出了一种基于数据分布的聚类联邦学习方法,将具有相似数据分布的客户端汇聚在一起,形成若干个近似于独立同分布的训练环境,从而降低客户端之间的数据异构程度,提高联邦学习的训练效果。该方法使用特定的特征提取模型对客户端的私有数据进行特征提取,生成一个特征描述向量,代表本地的数据分布。随后使用K-Means算法对特征描述向量进行分组,把本地数据分布相似的客户端分到同一个组中,组内的用户合作训练一个共享的模型。本文在联邦学习的标准数据集CIFAR-10与FEMNIST进行了大量实验,验证了该方法能够有效缓解数据异构带来的影响,提高模型的性能。 (2)基于特征对齐和分类器聚类的个性化联邦学习 为了解决数据异构中的标签分布倾斜问题,本文在聚类联邦学习的基础上,结合原型对比学习,提出了一种基于特征对齐和分类器聚类的个性化联邦学习,使用全局类原型作为全局知识来修正本地训练,通过原型对比损失使客户端将同一类的样本在特征空间上靠近其对应的全局原型,远离其他类的全局原型,使每个客户端的局部模型与全局模型学习到的特征保持一致。并且通过期望最大化算法对客户端进行聚类,让具有相似数据分布的客户端共同训练一个分类器,避免数据异构的影响。本文在联邦学习的标准数据集CIFAR-10与CIFAR-100进行了大量实验,验证了该方法能够有效减轻数据异构带来的影响,提高模型的性能。 (3)联邦医疗诊断系统 为了在实际应用场景中验证本文研究工作的实效性,结合本文提出的两种个性化联邦学习方法,设计并实现了一个联邦医疗诊断系统。为了实现跨医疗机构之间的合作训练,本文将联邦学习应用到医疗诊断领域,通过个性化联邦学习方法,解决各医疗机构之间数据分布不一致的问题。同时,将医疗机构的数据保留在本地,避免了患者信息被泄露的风险。本系统利用基于数据分布的个性化联邦学习解决参与者之间数据分布不一致的问题,通过联邦表征学习加速模型的收敛速度。

关键词： 离线强化学习   多智能体强化学习   Transformer   序列建模   预训练微调  

摘要： 强化学习主要用来解决决策问题。传统强化学习的学习范式需要在训练过程中不断与环境交互产生数据,通过不断试错来获得更大的奖励信号,并利用奖励信号修正智能体对策略的学习。这一标准范式存在采样效率低下导致学习速度过慢的问题。此外,在一些特殊的应用场景中,由于试错成本过高,从头开始在线和环境交互提升策略是不可取的。因此,离线强化学习应运而生,该方法使用提前收集好的数据集进行学习,避免与环境的交互。这种范式训练速度快,在一些特定领域中有更好的安全性。当前离线强化学习存在的主要问题是离线训练和在线测试时的分布偏移问题。受到Transformer在视觉等领域成功应用的启发,本文分别针对单智能体领域和多智能体领域,利用Transformer序列建模离线强化学习做了以下研究: (1)不同于传统的强化学习算法(如策略梯度,Q-Learning更新)来训练策略,本文在工作一中应用Transformer序列建模的学习范式,通过自行收集的谷歌足球环境数据集来训练策略。该方法能够利用Transformer实现长期信用分配,同时绕过离线强化学习中存在的分布偏移问题。此外,通过将奖励引入序列建模,避免了对未来奖励的忽视,而不是只专注于短期奖励。因为谷歌足球环境奖励的稀疏性,本文设计了奖励函数用来加速学习。此外,在Transformer的模型中引入了因果掩码来遮挡早期的数据,满足马尔可夫决策的问题设定。在谷歌足球环境上的实验表明,与当前先进的离线强化学习方法相比,本文方法可以达到更优的效果。 (2)工作二,将Transformer序列建模引入到多智能体强化学习领域,并加入了预训练微调范式,使用它来检验Transformer在多智能体强化学习环境中的应用。针对多智能体强化学习,本文提出了一种新的方法,基于随机掩码的多智能体决策Transformer。具体而言,该方法设计了新型的序列建模方式以适应多智能体环境,并引入了随机掩码模块来提升模型的泛化能力和数据的利用率本文使用了一个通用的多智能体强化学习环境-星际争霸多智能体挑战(SMAC),来验证该算法。在星际争霸II离线数据集上,本文方法的表现优于最先进的离线强化学习方法基线,证明了该算法的有效性。当在线微调时,加载离线预训练的策略后显著提高了算法效果,并且在few-shot和zero-shot的任务中仍有不错的表现。

关键词： 机器学习   VOCs   O3   PM2.5   CO2  

摘要： 近年来,我国大气污染问题有所改善,但是以臭氧（O3）为代表的二次污染问题及温室气体引起的气候问题逐渐突出。由于大气环境的复杂性,臭氧、二次硝酸盐、二次硫酸盐等二次污染物的生成受污染源排放、气象条件等多种因素的共同影响,并且这些影响因素之间存在相互作用、互不独立的特性,导致传统方法在建立污染物及其影响因素间响应关系,揭示影响因素间交互作用时仍存在困难。此外,随着我国环境保护进入减污降碳协同治理的新阶段,仅对污染物影响因素效应的研究也难以满足污染物和二氧化碳协同控制的需求。 针对影响因素对污染物的效应难量化,影响因素间的交互作用难识别的问题,本研究基于在线观测的臭氧及其影响因素数据集,将机器学习与模型无关的因果解释算法相结合,建立了污染物臭氧与其驱动因素间的响应关系,揭示了不同驱动因素对臭氧生成的影响;进而,将机器学习与结构挖掘算法相结合,挖掘了驱动因素之间的关联机制,量化了影响臭氧的重要交互作用。此外,针对影响因素对污染物和CO2的协同效应难量化的问题,本研究将协同溯源技术与机器学习串联耦合,量化了协同影响因素对细颗粒物(PM2.5)和CO2综合影响。主要研究结论如下: （1）随机森林结合因果解释算法初步揭示了驱动因素对臭氧的影响,异戊二烯（21%）、温度（20%）、氮氧化物（11%）对当地臭氧的生成具有最重要的影响。（2）在上述单因素影响效应研究的基础上,机器学习结合结构挖掘算法挖掘了驱动因素间的内在关联机制,量化了异戊二烯-温度、温度-NOx、异戊二烯-NOx等重要交互作用。（3）针对颗粒物和二氧化碳协同防控问题,耦合机器学习与协同溯源技术,揭示了燃煤（40%）、机动车（37%）和工业排放（23%）是影响PM2.5和CO2主要共同来源,温度（31%）是影响PM2.5和CO2最重要的气象驱动因素。本研究构建的技术方法为分析多驱动因素对污染物的效应,以及污染物和CO2的协同治理提供了启示。

关键词： 初中生   父母自主支持   学习投入   感恩   生命意义感  

摘要： 为了调查初中生父母自主支持与学习投入的关系及感恩和生命意义感在其中的作用机制,采用父母自主支持量表量表、学习投入量表、生命意义问卷以及初中生感恩量表,对河北省平泉市某中学的748名初中生进行了有效调查,结果表明: (1)初中生父母自主支持在年级上存在显著差异;初中生感恩在性别和年级上存在显著差异;初中生生命意义感在年级和是否班干部上存在显著差异。初中生学习投入整体处于中等偏高水平,在年级和是否班干部上存在显著差异。 (2)初中生父母自主支持与感恩呈显著正相关;感恩和生命意义感呈显著正相关;生命意义感与学习投入呈显著正相关;初中生父母自主支持与学习投入呈显著正相关。 (3)初中生父母自主支持可正向预测学习投入,感恩和生命意义感在父母自主支持对初中生学习投入的影响中起链式中介作用。 由此,为提高初中生学习投入水平提出以下建议:一方面,在家庭教育方面,要增强父母自主支持能力,提升教育沟通技巧,保持教育一致性。另一方面,在学校教育方面,要凝聚学风建设多方合力,常抓不懈,实现全员育人;拓宽感恩教育工作思路,创新手段,实现全程育人;抓好生命教育关键节点,精准发力,实现全方位育人。

关键词： 在线投资组合选择   动量效应与反转效应   在线随机梯度下降   经验模态分解   长短期记忆网络  

摘要： 投资组合选择指投资者根据投资目标与风险偏好,在不同资产中分配资金,以达到投资收益与风险平衡的目的。近年来,研究人员将机器学习技术应用于在线投资组合选择中,旨在通过大数据技术提升投资组合管理的效率与有效性。然而,传统的在线投资组合选择算法通常采用固定的标准和方法做出投资决策,却忽略了市场整体动态变化的影响。此外,这些算法通常依赖于带有主观意向的指标或策略的规则性应用,在有效捕捉历史价格数据的非线性变动上存在一定挑战。因此,本文以市场整体的动态变化与非线性金融波动的捕捉为研究切入点,提出了三种新型的在线投资组合选择学习方法,旨在使求解所得的投资组合同时具备良好的盈利与风险规避能力。本文主要讨论内容包括: 第一,在峰值价格追踪算法的基础上,本文提出了一种新型的投资潜力追踪学习系统(A Novel Investment Potential Tracking-Based Learning System,IPT),旨在追踪更多的资产信息与市场整体的动态变化。首先,IPT系统提出了一个资产信息模型,在峰值价格追踪算法的基础上追踪了更多的资产历史信息,并将市场的整体波动纳入考量。其次,结合动量效应与反转效应,IPT系统设计了一种综合考虑近期趋势、反转潜力与历史风险的三态策略选择算法,以计算资产的投资潜力得分。第三,IPT系统在交易开始前对初始投资组合向量进行了预训练,以整合更多的历史交易信息。最后,IPT系统通过梯度投影方法获取每期的资产配置比例。通过实证分析和统计检验,本文验证了IPT系统在资产配置中平衡收益与风险的能力。 第二,在IPT系统的基础上,本文进一步提出了一种基于序信息的在线自适应资产跟踪算法(Online Adaptive Asset Tracking Algorithm with Ordinal Information,OAAT),为算法中的参数选择提供了更好的解决方案。首先,OAAT算法提出了一个基于市场动态参数的自适应资产信息模型,旨在实时捕捉市场的动态变化。其次,OAAT算法通过在线随机梯度下降优化算法中的参数,从而自适应地调整算法对动量效应与反转效应的倾向,以及投资组合向量更新的步长。第三,OAAT算法的初始参数基于训练集序信息的最小和原则进行选择,以有效地提升算法性能与参数的优化效率。最后,OAAT算法使用梯度投影技术计算每期的资产配置比例。经过实证分析和统计检验,结果一致表明,OAAT算法能够有效地平衡投资组合的回报与风险。 第三,为了降低峰值价格追踪算法中人为主观意向的影响,本文提出了一种基于深度序列特征与反转信息的资产价格追踪算法(A Novel Predictive Price Tracking Algorithm using Deep Sequence Features and Reversal Information,DSF-RI-PPT)。首先,DSF-RI-PPT算法分别采用自适应噪声全集成经验模态分解、主成分分析算法和长短期记忆网络对资产的相对价格进行序列分解、非相关的金融序列特征提取与相对价格预测。其次,DSF-RI-PPT算法通过引入反转指标—变动率,为投资组合求解补充反转信息。最后,DSF-RI-PPT算法使用梯度投影技术计算每期的投资组合向量。实证分析和统计检验的结果表明,DSF-RI-PPT算法的回测结果表现优异,在风险管理和实时交易表现等方面展示出优越的效果。 本文探讨了机器学习算法在捕捉市场动态变化与资产波动规律上的创新,并提出了三种新型的在线投资组合选择学习方法,通过科学合理的实验设计和统计验证,获得了具有竞争力的实验结果,并验证了本文研究的有效性,从而进一步推动了投资组合领域的研究。

关键词： 时间序列表征   不规则时间采样   多维时序数据   长短时记忆网络  

摘要： 传感器广泛应用于信息采集,产生大量时间序列数据,呈现复杂的时间依赖性和动态变化的空间特性。高效精准提取时序数据特征成为数据挖掘的关键科学问题之一。因传感器故障、采集率变化等原因,实际采集的时序数据可能出现不规则化,增加预测、分类等任务难度。不规则时序的数据挖掘面临以下问题:1)数据存在多个不规则采样维度,现有模型难以直接处理变化的时间间隔。2)模型训练高度依赖标签数据,时序数据标注成本较高,限制了监督学习方法的应用。3)下游任务繁复,不同的下游任务需要重复训练,计算成本过高。针对上述问题,本文对多维不规则时序数据的表示学习进行研究,提出了两个表示学习模型,解决了下游任务重复训练带来的训练成本过高的问题: 1)针对不规则采样的多维度时序数据中数据质量问题,提出了一种基于时序感知和随机维度置换的长短时记忆网络表示模型(Random Dimension Permutation Time-Aware Long Short-Term Memory Network,RDPT-LSTM),解决了数据缺失导致的精度下降。RDPT-LSTM通过时序感知的不规则编码网络和基于掩码矩阵的数据增强方法对不规则时序数据进行端到端的表示学习,节省为不同下游任务重复训练带来的时间和计算成本,提升模型对数据波动的鲁棒性。模型利用随机维度置换方法,减轻了变量采集率不一致导致的数据不平衡性,提高了多维不规则时序数据的可用性。 2)在RDPT-LSTM的基础上,针对模型训练依赖数据标签的问题,提出了一种不规则时序数据自监督表示学习模型(Self-supervised Representation Learning for Irregularities,SRLI),解决了无标签数据信息导致的训练样本不足问题。SRLI包含数据重构、数据判别和交叉预测三部分。交叉预测模块采用对比学习方法,利用无标签数据实现时序数据的自监督表示学习。数据判别和数据重构模块基于对抗生成网络结构,补全时序数据中的缺失值,增强了数据的可用性,提升模型在下游任务中的表现。 模型与基线模型、MIMIC-Ⅲ和实际空气质量数据集上进行对比实验,实验结果显示模型最优性能提升84%,平均性能提升33%,具有一定的泛化能力。

关键词： 裂缝检测   图像数据增强   深度学习   语义分割   数学形态  

摘要： 裂缝是混凝土结构上最容易出现、并且危害较为严重的一种病害,如果不能及时检测出混凝土结构上产生的裂缝,将会影响混凝土结构的正常功能使用,同时引起一些其他的次生病害,给人们的生命财产安全带来隐患。如何对混凝土裂缝进行快速准确的识别一直是混凝土结构检测工作中最为关注和最需要解决的问题。本研究为了解决此问题,基于语义分割神经网络模型,将混凝土裂缝图像作为研究对象,对训练图像数据集进行增强和扩充处理后利用改进的神经网络模型训练和验证,并对识别出的裂缝特征长宽属性进行标注计算,同时搭建混凝土裂缝检测系统,旨在建立一套完整的混凝土裂缝检测流程,能够运用到实际检测任务中,对混凝土裂缝的检测工作起到辅助作用。本文的主要工作内容如下: (1)针对公共裂缝图像数据集中裂缝特征的种类不够丰富,背景类型不够多样的问题,本文将公共数据集和自采集数据集结合,利用线性变换、分段线性变换、对数变换、指数变换、直方图均衡化、中值滤波和高斯滤波算法对裂缝图像进行图像增强处理;利用裁剪、翻转、旋转方法对裂缝图像进行几何尺寸变换处理,同时利用滑动剪切的方法扩充数据集数量。以上操作通过扩展训练数据集种类和数量的方法增强模型训练结果的鲁棒性和泛化性。 (2)针对原U2net网络模型在面对裂缝检测任务时,遇到细密裂缝无法识别完全和遇到部分噪点误识别的问题,本文提出一种基于注意力机制和改进激活函数的改进U2net网络模型。该模型改进了原U2net网络中的RSU模块,在网络结构上层的RSU模块中添加空间通道双注意力机制的CBAM模块,在网络结构下层的RSU模块中添加通道注意力机制的ECA模块,同时将RSU模块中的Re LU激活函数替换为Mish激活函数。通过消融实验和对比实验验证了改进模型相较于原模型能够更好地识别出细密裂缝和区分出背景噪点,改进模型总体的评价指标要优于各对比模型。 (3)针对神经网络模型只初步划分出了图像中裂缝形状,但是没有具体标识和得出裂缝长宽信息的缺点。本文在模型预测的裂缝特征图像基础上,利用Hilditch细化算法提取了裂缝骨架线,同时基于骨架线计算出裂缝像素长度,利用裂缝中心线的裂缝宽度法和裂缝局部平均宽度法相结合的方式计算出了裂缝的像素宽度,再利用“像素/度量”比率方法将得到的裂缝像素长宽大小转换为几何尺寸大小。 最后,本文基于以上研究成果,构建了混凝土表面裂缝识别系统,通过该系统检测人员能利用神经网络模型对图像中的裂缝特征进行识别划分,同时计算出裂缝的长宽数据,做到对现场混凝土结构上裂缝发生情况的一个快速、初步的判定。