关键词： 弱监督学习   时序动作检测   完整性表达   显著性增强   子动作单元  

摘要： 视频时序动作检测是指在一段未裁剪的长视频中,检测出动作发生的区间,并对其进行分类。它被广泛应用于监控安防、人机交互等多个领域。弱监督时序动作检测方法只需给出视频级别动作标签,即可实现未剪辑视频动作检测定位,节约大量的人工标注成本,能更方便、更及时地得到应用,已成为当前计算机视觉和多媒体领域的研究热点。 目前,弱监督时序动作检测方法仍然存在许多问题,如:在未剪辑的视频中,动作定位存在碎片、开始与结束时间不准确,即动作定位的不完整性;视频中动作与背景、动作与动作之间表达的鉴别性不足,即动作特征表达显著性不足;动作的检测定位仅局限于给定的动作类别和相似的视频场景,即无法有效实现开放环境下的动作检测定位。因此,本文针对未剪辑的视频,围绕视频中动作实例建模的完整性、视频动作特征学习的显著性以及开放环境下细粒度子动作的完整性与显著性特征表达三个问题与挑战开展弱监督时序动作检测研究,提出一系列面向弱监督时序动作检测的视频动作特征学习与建模方法。本文的主要贡献概括如下: (1)提出一种基于深度级联动作注意力机制的特征学习方法。为了更好地挖掘出视频中的次显著动作片段和非动作片段,而提升视频时序动作特征的完整性和鉴别性,提出一种基于深度级联动作注意力机制的视频特征学习方法。该方法从视频动作特征的完整性出发,通过引入阈值擦除法,同时对视频中最显著的主动作片段和不同级别次显著的子动作片段建模,从而保证了动作实例的完整性。此外,引入非动作的熵损失函数限制视频中非动作片段的激活。该方法可以更好地区分视频中的动作片段和非动作片段,有效地解决了动作片段和背景片段的分离问题,使动作实例表达更加完整、更加准确,而促进更精确的动作定位。在THUMOS14和Activity Net1.3数据集上进行的大量实验表明,与相关先进方法相比,所提方法在高t-Io U情形下检测性能均更优,在t-Io U为0.5时检测性能分别提升了0.3%至5.8%和1.7%至2.6%。 (2)提出一种基于时空关联和动作背景联合注意的特征学习方法。针对现有方法仅从单一片段对视频建模,忽略了视频中动作片段的关联性学习,而影响动作表达的显著性和鉴别性,不利于更准确的动作定位问题,提出一种基于时空关联学习的动作检测方法。为了挖掘视频中动作发生所体现的空间和时间的内在相关性,融合经图卷积神经网络和一维时序卷积网络学习的空间特征和时序特征,确保为动作定位提供更加完整的特征表示。针对视频中动作背景分离困难的问题,提出一种动作背景联合注意力机制,构建三分支网络对背景显式建模。这种分类网络可以更好地实现动作和背景的分离,从而提升动作表达的显著性和鉴别性,促进更精准动作定位问题的解决。在THUMOS14和Activity Net1.3数据集上进行的实验表明,所提方法的平均检测性能比相关先进方法分别提升了0.1%至2.4%和0.4%至3.9%,特别是在高t-Io U阈值下性能提升更显著,验证了所提方法的有效性。 (3)提出一种基于特定类别聚合帧动作显著性增强特征学习方法。针对现有单帧监督方法仅从视频片段序列对标注单帧建模,忽略了标注帧本身的动作判别性,而影响了动作特征的更显著表达问题,提出一种通过聚合特定类别帧增强动作显著性表达方法。该方法将同类别中标注帧聚合,视为其类别的特征示例。通过计算视频中每帧与每个动作示例的相似性,得到其类激活分数来更显著学习动作特征。为了增强动作判别性的一致性属性,提出一种用于标注帧和片段序列的凸组合融合机制,用以生成更加鲁棒的类激活序列,从而实现更显著的动作特征表达和更精确的动作分类和定位。在常用的三个数据集THUMOS14,GTEA和BEOID上实验表明,与单帧标注的相关先进方法相比,所提方法平均检测性能分别提升了0.9%至9.4%,0.4%至10.2%和0.4%至17.3%。 (4)提出一种面向开集弱监督时序动作检测的子动作单元感知的特征学习方法。针对动态变化的开放世界,封闭场景下的检测方法无法对新的动作类别正确分类和定位的问题,提出一种基于子动作单元感知的视频特征学习方法。首先,通过图卷积网络学习子动作单元与已知动作之间的语义关联关系,形成动作中子动作单元的关系模型,使之可利用待检测动作在子动作单元上的激活程度差异鉴别已知类和发现未知类动作。其次,考虑到子动作单元的时序信息具有区分已知类动作和未知类动作的特性,构建动作中子动作单元时序关系模型,用以区分检测因语义关系模式相同而时序关系有差异的动作,可更有效地检测已知和未知类动作,更有效解决开放场景的动作检测问题。在THUMOS14和Activity Net1.3数据集上进行大量的实验,结果表明所提方法与目前最先进的方法相比,平均检测性能分别提升了0.4%和0.3%。

关键词： 联邦学习   个性化   数据异质性   图像分类  

摘要： 在当今数据驱动的时代,联邦学习作为一种创新的分布式学习框架,在处理数据隐私保护、通信带宽限制和分布式数据等方面发挥了关键作用。联邦学习允许各个客户端在不传输原始数据的情况下,通过中央服务器聚合本地模型更新,从而协同训练全局模型。然而,现有联邦学习方法在面对异构性数据时,常遭遇局部模型过拟合、局部与全局模型不一致以及泛化性能下降等问题,严重制约了其在实际应用中的效果。为了解决这些问题,本文提出了两种联邦学习算法,旨在提升模型性能和泛化能力。 针对异质性数据所引起的局部模型过拟合和不一致导致的全局模型性能下降问题,本文提出了一种基于锐度感知最小化(SAM)和动态风险的联邦学习算法——DR-Fed SAM。该算法通过在客户端维护基于SAM的梯度扰动策略,使得客户端模型在进行梯度下降时能快速找到邻域内的最优下降方向,以获取最优且平滑的梯度损失,从而有效缓解过拟合问题;同时,借鉴原始-对偶问题的思想,引入动态风险惩罚策略,促使客户端模型向全局模型收敛,实现局部模型的一致性。实验结果表明,在脑肿瘤数据集Brain Tumor MRI上,针对独立同分布(IID)和非独立同分布(Non-IID)两种数据分布情况,DR-Fed SAM的分类准确率分别达到了99.56%和98.73%,相比目前主流的联邦学习模型,准确率分别提升了约0.61%和0.97%。在阿尔茨海默病数据集ANDI上,DR-Fed SAM的分类准确率分别达到了97.22%和96.68%,超过现有模型约2.47%和2.96%。 针对异质性数据所引起的全局模型泛化能力不足问题,本文提出了一种基于条件互信息的个性化联邦学习算法——Fed CMI。该算法基于域泛化的思想,旨在利用条件互信息学习数据的简单表示。在全局模型的指导下,它能够学习每个客户端的特征分布,促进跨客户端学习,从而训练出更具个性化的联邦学习算法。实验结果表明,在Brain Tumor MRI数据集上,针对IID和Non-IID数据分布,Fed CMI分别达到了99.59%和98.80%的分类准确率,超过目前主流的联邦学习模型约0.96%和0.8%。在ANDI上分别达到了97.68%和96.76%的分类准确率,比现有模型分别提高了约1.67%和0.87%。

关键词： 上下文强化学习   泛化性   状态抽象   二次初始化  

摘要： 深度强化学习在机器人学、自动驾驶、推荐系统等领域具有广泛的应用潜力,但智能体泛化性差导致现实场景中难以落地。为了更好研究泛化性问题,上下文强化学习拓展了强化学习,它专注于智能体在具有复杂变化的多种场景中做出决策。在上下文强化学习中,环境的上下文可以是任何影响智能体决策过程的外部因素,例如环境参数、任务条件或随机种子。相同任务不同上下文环境变量复杂多样,如何学习一个好的状态表示是一个具有挑战性的问题。本文围绕上下文强化学习中状态表示学习展开研究: 状态空间庞大且上下文信息复杂,智能体在训练过程中错误地将奖励与环境中的无关特征相关联,导致在新环境中策略失效,泛化性能较差。马尔可夫决策过程状态抽象能够压缩状态空间,过滤冗余信息,将相同状态映射成同一表示。因此,本文提出优势状态抽象,这种抽象依据相对平均预期回报的动作优势。基于优势状态抽象,本文提出优势相似对比表示学习(Advantage Similarity Contrast Learning,ASCL)算法,引导编码器将优势值相同或相近的状态,编码成相同或相近的表示。这种方法强调状态之间的相似性,有助于智能体在多样化的环境中保持策略的一致性。本文在Proc Gen基准测试中进行ASCL算法泛化性能测试。实验结果表明,ASCL算法能够有效提高智能体在上下文强化学习环境中的泛化能力。 面对多样化的环境,智能体在初期学习速度较快,但随着训练的进行,性能在不太理想的水平上停滞不前。这是因为随着环境状态的多样化,策略和价值网络越来越难以保持对所有状态的预测能力,陷入局部最优点。本文将二次初始化方法应用于上下文强化学习算法中,通过重新初始化模型的一部分或全部参数来提升模型的泛化能力。为了更好地应用二次初始化,本文提出自适应二次初始化(Adaptive Re-Initialization,ARI)算法,当智能体达到设定性能瓶颈,则对模型参数进行缩放和干扰以避免对特定环境变量的过度依赖,来提高智能体的泛化能力。本文采用ARI算法在Proc Gen基准测试中进行实验,结果表明,ARI算法能够有效提高智能体的泛化能力。

关键词： 时空表示学习   结构因果模型   虚假相关性   后门调整   因果关系  

摘要： 从时空数据中有效地提取特征表示是时空数据挖掘的基础.现有时空表示学习方法过于关注时空序列中的统计相关性,易受虚假相关性的影响,难以提取无偏、鲁棒的特征表示.本文基于结构因果模型建模时空数据的生成过程,分析观测数据中虚假相关性的成因,提出了一种基于时域偏倚校正与空域因果传递的时空因果表示学习方法.首先基于后门调整消除时域的虚假相关性,然后构建因果传递网络消除空域的虚假相关性,最后利用下游特征解码器将因果特征表示应用于下游任务中.在两个真实数据集上的实验表明,本文所提时空表示学习方法有效避免了虚假相关性的干扰,增强了模型的稳定性,使其在两个下游预测任务中对数据稀疏节点的预测误差分别降低了3%和10%.

关键词： 有意义学习理论   园产品贮藏技术   杨梅保鲜实验教学  

摘要： “园产品贮藏技术”是教育部为“一村一名大学生计划”园艺专业开设的专业课程,技术性、应用性强,注重理论联系实际,教学大纲要求尽可能安排组织实验教学来加强学生对实际生产的了解,促进理论知识在实际生产中的应用。基于此,本文探索有意义学习理论在该课程实验教学中的运用,创新实验教学手段,改变传统的教师全程主导实验进程的教学模式,转换为学生主导,让学生参与实验前准备、实验设计、实验操作和实验结果分析的全过程,激发学生实验课学习的主动性和创造性,提高学生的动手操作能力及分析解决实际农业生产问题的能力。

关键词： 叶面积指数   机器学习   无人机   多光谱影像   玉米  

摘要： 为实现基于机器学习方法和无人机影像的叶面积指数(leaf area index,LAI)准确估测。本研究对比了人工神经网络法(Artificial Neural Network algorithm,ANN)、高斯过程回归法(Gaussian Process Regression algorithm,GPR)、支持向量回归法(Support Vector Regression algorithm,SVR)和梯度提升决策树法(Gradient Boosting Decision Tree,GBDT)等几种主流的机器学习方法在基于无人机影像的玉米LAI反演中的优劣。为此,开展了不同有机肥、无机肥、秸秆还田以及种植密度处理的玉米田间试验,在不同生育期获取了无人机多光谱影像和LAI数据。基于这些数据,首先通过相关性分析,选择对LAI敏感的光谱指数作为估测变量,然后分别耦合偏最小二乘法(Partial Least Squares Regression,PLSR)和ANN、GPR、SVR、GBDT建立LAI反演模型,并对它们进行对比分析。结果表明,PLSR+GBDT法构建的LAI反演模型精度最高,稳定性最好,建模R_(cal)^(2)和RMSE_(cal)为0.90和0.25,验证R_(val)^(2)和RMSE_(val)为0.90和0.29;与PLSR+GBDT模型结果最接近的是基于PLSR+GPR法建立的模型,其建模R_(cal)^(2)和RMSE_(cal)为0.86和0.30,验证R_(val)^(2)和RMSE_(val)为0.89和0.29,且具有训练速度快,并能给出反演结果不确定度的优势;PLSR+ANN法的建模R_(cal)^(2)和RMSE_(cal)为0.85和0.31,验证R_(val)^(2)和RMSE_(val)为0.89和0.30;PLSR+SVR法的建模R_(cal)^(2)和RMSE_(cal)为0.86和0.32,验证R_(val)^(2)和RMSE_(val)为0.90和0.33。因此,PLSR+GBDT法和PLSR+GPR法被推荐作为玉米LAI反演模型构建的最优方法。

关键词： 随机森林   神经网络   享乐价格   房屋定价  

摘要： 利用随机森林和神经网络等机器学习模型对合肥市二手房实际交易数据进行定价评估,并与传统享乐价格模型的定价评估相比较。基于这三种模型对二手房价的预测结果表明,机器学习模型的预测精度高于传统享乐价格模型,并且拟合优度也好于传统享乐价格模型,其中随机森林模型表现最优。研究结果表明,基于机器学习模型的房屋定价是一种切实可行的方法。

关键词： 信息检索   信息技术   中医药行业   智慧中医   服务平台   深度学习   中医药特色   搭建平台  

摘要： 中医药是中华民族千百年来传下来的优秀瑰宝,在我们的日常生活和工作中发挥着非常重要的作用,中医药迅速发展的同时也充分体现了我国的文化自信。目前,我国中医药行业仍存在水平参差不齐的情况。在世界医药市场日益严峻的竞争与挑战下,合理运用科学技术,并将其与现代化先进理念和新型中医用药技术结合起来,从而推动中医药行业的发展,共同构建智慧中医。通过搭建平台,利用信息检索,形成中医药特色的信息技术及服务,使得中医药行业在竞争中脱颖而出。我们致力于利用平台贯彻中药流通过程,形成连接用户、医院、药农,提供个性化服务。