摘要:

摘要:时间序列数据在工业制造、气象、电力、车辆等领域都有着广泛的应用, 促进了时间序列数据库管理系统的发展. 越来越多的数据库系统向云端迁移, 端边云协同的架构也愈发常见, 所需要处理的数据规模愈加庞大. 在端边云协同、海量序列等场景中, 由于同步周期短、数据刷盘频繁等原因, 会产生大量的短时间序列, 给数据库系统带来新的挑战. 有效的数据管理与压缩方法能显著提高存储性能, 使得数据库系统足以胜任存储海量序列的重任. Apache TsFile是一个专为时序场景设计的列式存储文件格式, 在Apache IoTDB等数据库管理系统中发挥重要作用. 阐述了Apache TsFile中应对大量短时间序列场景所使用的分组压缩及合并方法, 特别是面向工业物联网等序列数量庞大的应用场景. 该分组压缩方法充分考虑了短时间序列场景中的数据特征, 通过对设备分组的方法提高元数据利用率, 降低文件索引大小, 减少短时间序列并显著提高压缩效果. 经过真实世界数据集的验证, 分组方法在压缩效果、读取、写入、文件合并等多个方面均有显著提升, 能更好地管理短时间序列场景下的TsFile文件.

摘要:近年来, 随着软硬件的发展, 数据库上云已经成为了新兴发展趋势, 能够降低中小型企业和个人用户的数据库运维成本. 进一步地, 云数据库的发展带来了庞大的运维市场需求, 研究者们提出了诸多数据库自调优技术来支持数据库旋钮自动优化. 为了提高调优效率, 现有技术从仅关注调优问题本身, 到开始关注如何复用历史经验来为当前数据库实例找到最佳参数配置. 然而, 随着云数据库的发展, 用户逐渐提高了对隐私保护的要求, 期望在拥有高效数据存取效率的同时避免隐私泄露. 现有方法并未考虑到保护用户的历史调优经验隐私, 可能会使得用户负载特征被感知, 带来经济损失. 详细分析了云数据库调优任务的特点, 有机结合服务端和用户端, 提出了一种基于联邦学习的云数据库旋钮调优技术. 首先, 为了解决联邦学习中数据异构的问题, 提出了基于元特征匹配的经验筛选方法提前将数据分布差异较大的历史经验剔除, 以提高联邦学习的效率. 为了实现保护用户隐私, 结合云数据库服务特性, 提出了以节点端为训练中心的联邦贝叶斯调优算法, 通过随机傅里叶特征来完成保证调优经验不失真的前提下保护用户隐私. 在多个公开 benchmark 上的结果表明, 方法可以达到与现有调优方法相当的调优结果, 并且由于复用了历史经验, 可以大大提高调优效率.

摘要:云环境下的多租户数据库重要特性之一是可伸缩性, 然而大部分的弹性伸缩技术难以针对复杂变化的负载进行有效的伸缩决策. 若能提前预测负载变化, 则能够准确地调整资源供给. 鉴于此, 提出了基于内存负载预测的多租户数据库弹性伸缩方法, 包括一种组合负载预测模型和一种弹性伸缩策略. 组合负载预测模型融合了卷积神经网络、长短期记忆网络和门控循环单元的优势, 可以比较精确地预测数据库集群内存负载需求; 弹性伸缩策略基于需求预测结果, 调整虚拟机数目, 保证资源供应处于合理范围. 与现有方法对比, 所提出的模型预测误差降低了8.7%–21.8%, 预测拟合度提高了4.6%. 在此基础上, 改进了贝叶斯优化算法, 用于该模型超参数调优, 解决了贝叶斯优化在离散解、连续解的组合域中效果较差的问题, 误差指标值降低了20%以上, 拟合度提高了1.04%. 实验结果表明, 与Kubernetes中应用最广泛的伸缩策略相比, 所提出的弹性伸缩方法避免了弹性伸缩的滞后性与资源浪费, 响应时间降低了8.12%, 延迟降低了9.56%.

摘要:云原生数据库具有开箱即用、弹性伸缩、按需付费等优势, 是目前学术界和工业界的研究热点. 当前, 云原生数据库仅支持“一写多读”, 即读写事务集中在单一的读写节点, 只读事务分散到多个只读节点. 将读写事务集中在单一的读写节点, 制约了系统的读写事务处理能力, 难以满足读写密集型业务需求. 为此, 提出D3C (deterministic concurrency control cloud-native database)架构, 通过设计基于确定性并发控制的云原生数据库事务处理机制来突破一写多读的限制, 支持多个读写节点并发执行读写事务. D3C将事务分拆为子事务, 并根据预先确定的全局顺序在各节点独立执行这些子事务, 以满足多个读写节点上事务执行的可串行化. 此外, 提出基于多版本机制的异步批量数据持久化等机制以保证事务处理的性能, 并提出基于一致性点的故障恢复机制以实现高可用. 实验结果表明, D3C在满足云原生数据库关键需求的同时, 在写密集场景下能够达到一写多读性能的5.1倍.

摘要:数据库是计算机服务中的重要基础组件, 然而其运行中可能出现性能异常, 影响业务服务质量. 如何对数据库产生的性能异常进行诊断成为工业界与学术界的热点问题. 近年来, 一系列自动化的数据库异常诊断方法被相继提出, 它们通过分析数据库运行状态, 对数据库整体的异常类型进行判断. 但随着数据规模的不断扩大, 分布式数据库正成为在业界中愈受欢迎的重要解决方案. 在分布式数据库中, 数据库整体由多个服务器节点共同组成. 现有的异常诊断方法难以有效地定位节点异常, 无法识别在多节点上发生的复合异常, 不能感知节点间复杂的性能影响关系, 欠缺有效的诊断能力. 针对上述问题, 提出了一种面向分布式数据库的复合异常诊断的方法: DistDiagnosis. 该方法采用复合异常图对分布式数据库的异常状态进行建模, 在表示各节点异常的同时有效地捕获节点间的相关性. DistDiagnosis提出了节点相关性感知的根因异常排序方法, 根据节点对数据库整体的影响力有效地定位根因异常. 在国产分布式数据库OceanBase上构建了不同场景的异常测试案例. 实验结果表明, 该方法优于其他先进的对比方法, 异常诊断的AC@1、AC@3、AC@5最高达到0.97、0.98和0.98, 在各诊断场景中相较于次优方法最多提升了5.20%、5.45%和4.46%.

摘要:云原生数据库基于云基础设施提供高可用、可弹性伸缩的数据管理, 近年来得到了快速发展. 区块链作为一种透明、防篡改、可追溯的数据库系统, 其中区块链分片是对区块链系统进行扩容的最直接且最有潜力的方案, 利用云基础设施的弹性伸缩特点可以实现更灵活的扩缩容. 首先总结当前区块链分片解决的3个关键技术问题: 节点划分的安全性、高效链上数据分片以及跨片交易处理, 分别梳理这3个问题的研究现状, 对每个问题下相应的方案进行介绍和对比, 也讨论了将这些方案运用在云原生环境下面临的新挑战. 随后, 围绕这3个维度, 从对区块链系统整体影响的角度, 对所有方案进行全面的分析和对比. 最后, 分析区块链分片技术发展趋势, 指出几个值得进一步探索的研究方向.

摘要:云原生数据库的主流设计采用一主多从架构, 集群中从节点可以分担主节点的只读请求, 写请求由主节点处理. 在此基础上, 为了进一步满足大规模交易扩展的需求, 一些云数据库尝试实现多写事务扩展. 多写扩展的一种实现路径是在计算节点间实现共享缓存, 支持跨节点的数据访问. 在基于共享缓存的数据库系统中, 跨节点远程访问的开销远大于本地访问, 因此缓存协议的设计是影响系统性能和可扩展性的关键因素. 对缓存协议提出了两个创新性改进, 并基于PostgreSQL实现了支持多写事务处理的共享缓存数据库PG-RAC. 一方面, PG-RAC提出一种新型的分布式链式路由策略, 将路由信息分散在各计算节点. 相比单点目录管理的路由策略, 事务平均延迟降低了约20%. 另一方面, 还改进了副本页失效机制, 将失效操作从事务路径分离, 减小了事务处理关键路径的延迟. 在此基础上, PG-RAC利用多版本并发控制的特性, 进一步提出推迟副本页失效时机, 有效提高了缓存利用率. TPC-C实验结果显示, 在配备4台计算节点的集群中, 吞吐率为PostgreSQL的近2倍, 为分布式数据库Citus的1.5倍.

摘要:联合多方数据库的安全计算可以在保护数据隐私的情况下, 对多个数据库的私有数据进行联合查询或联合建模. 这样的联合体通常是一个松散的组织, 各参与的数据库可以随时离线, 然而现有多方安全计算系统通常采用秘密共享等隐私计算方案, 需要参与者保持在线状态, 导致系统的可用性较差. 此外, 现有系统对外提供服务时无法预知用户的数量以及请求速度, 如果将系统部署在私有集群或者租用云计算平台的虚拟机, 面对爆发式请求时系统延迟增大, 在请求较少时又造成资源浪费, 表现出较差的可扩展性. 随着云计算技术的发展, 无服务器计算(serverless computing)作为一种新的云原生部署范式出现, 具有良好的弹性资源伸缩能力. 在该工作中, 提出了基于无服务器计算环境的系统架构和间接通信方案, 实现了一套高可扩展、高可用的多方数据库安全计算系统, 可以容忍数据库节点掉线, 并且在用户请求流量发生变化时自动伸缩系统资源. 基于阿里云和OceanBase数据库实现了系统原型并进行了充分的实验对比, 结果显示该系统在低频查询、横向建模等任务上, 在计算成本、系统性能和可扩展性方面优于现有系统, 最高能够节省78%的计算成本、提升系统性能1.6倍, 同时也分析了本系统对于复杂查询、纵向建模等任务存在的不足.

摘要:图上的诸多计算问题都是NP难问题, 因此经常会将问题限定在一些特定的图类上. 这类方法在过去的几十年间收获了大量特定图类(如度有界图类、树宽有界图类、平面图类等)上的高效算法, 其中很大一部分都能统一到算法元定理的框架下. 算法元定理是一类通用的结论, 主要描述模型检测问题(即判定结构的逻辑性质)的高效算法. 现有的算法元定理主要基于现代结构图论, 并且大多研究固定参数易解算法,即参数复杂性意义下的高效算法. 在许多良构的图类上, 一些常见逻辑(如一阶逻辑和一元二阶逻辑)的模型检测问题是固定参数易解的. 由于不同逻辑的表达能力不同, 不同图类上的模型检测问题的易解性也有显著的区别, 因此探索易解的最大范围也是算法元定理研究的重要课题. 研究表明, 一阶逻辑模型检测问题的易解性与图的稀疏性密切关联. 经过数十年的努力, 目前学界对于稀疏图类的认识已经较为成熟, 近年的研究重心逐渐转向一些良构的稠密图类, 研究也面临着更多的挑战. 目前在稠密图类上已经得到了若干深刻的算法元定理, 相关的探索仍在继续. 将全局性地介绍算法元定理领域的发展, 旨在为国内的相关研究提供一些线索和助力.

摘要:随着软件漏洞的类型、数量和复杂性日渐增长, 研究人员提出了诸多自动化的手段来帮助开发人员发现、检测和定位漏洞, 但研究人员仍需花费大量精力对漏洞进行修复. 近年来, 一些研究者开始关注软件漏洞自动修复技术, 然而当前的先进技术仅将软件漏洞修复规约为通用的文本生成问题, 没有对缺陷修复位置进行定位, 导致修复程序的生成空间较大, 使得生成的修复程序质量较低, 将其提供给开发人员反而影响漏洞修复的效率和效果. 针对上述问题, 提出一种基于思维链的通用类型漏洞修复方法CotRepair, 利用思维链技术, 模型首先对产生漏洞概率较高的位置进行预测, 而后依托预测结果, 更加准确地生成修复程序. 实验结果表明提出的方法在评价生成修复程序的各项指标上均显著优于基线方法, 从多个维度验证所提方法的有效性.

摘要:随着以Transformer为代表的预训练模型等深度学习技术的发展, 大语言模型(LLM)日益展现出强大的理解力和创造力, 对抽象摘要、对话生成、机器翻译和数据到文本生成等下游任务产生了重要影响, 同时也在图像说明、视觉叙事等多模态领域展现出了广阔的应用前景. 虽然大语言模型具备显著的性能优势, 但深度学习架构使其难以避免内容幻觉问题, 这不仅会削减系统性能, 还严重影响其可信性和应用广泛性, 由此衍生的法律风险和伦理风险成为掣肘其进一步发展与落地的主要障碍. 聚焦大语言模型的幻觉问题, 首先, 对大语言模型的幻觉问题展开系统概述, 分析其来源及成因; 其次, 系统概述大语言模型幻觉问题的评估方法和缓解方法, 对不同任务的评估和缓解方法类型化并加以深入比较; 最后, 从评估和缓解角度展望应对幻觉问题的未来趋势和应对方案.

摘要:在大数据时代, 样本规模以及维数的动态更新和变化极大地增加了计算负担, 在这些动态数据中, 大多的数据样本并不以单一的数据取值形式存在, 而是同时包含符号型数据和数值型数据的混合型数据. 为此, 学者们提出了许多关于混合数据的特征选择算法, 但现有的算法大多只适用静态数据或者小规模的增量数据, 无法处理大规模动态变化的数据, 尤其是数据分布不断变化的大规模增量数据集. 针对这一局限性, 通过分析动态数据中粒空间以及粒结构的变化和更新, 基于信息融合机制, 提出了一种面向动态混合数据的多粒度增量特征选择算法. 该算法重点讨论了动态混合数据中的粒空间构建机制、多数据粒结构的动态更新机制以及面向数据分布变化信息融合机制. 最后, 通过与其他算法在UCI数据集上的实验结果进行对比, 进一步验证了所提算法的可行性和高效性.

摘要:近年来, 图卷积网络作为一种强大的图嵌入技术在推荐系统领域得到广泛应用. 主要原因是推荐系统中大多数信息可以建模为图结构, 而图卷积网络是一种基于图结构的深度学习模型, 有助于挖掘图数据中用户和项目之间的潜在交互, 从而提高推荐系统的性能. 由于推荐系统的建模通常需要收集和处理大量的敏感数据, 因此可能会面临隐私泄露的风险. 差分隐私是一种具有坚实理论基础的隐私保护模型, 已被广泛应用于推荐系统中解决用户隐私泄露的问题. 目前基于差分隐私的研究主要是面向独立同分布的数据模型. 然而, 在基于图卷积网络的推荐系统中, 数据之间关联性强且不具有独立性, 这使得现有方法难以对其进行有效的隐私保护处理. 为解决该问题, 提出基于Rényi差分隐私的图卷积协同过滤推荐算法RDP-GCF, 旨在保护用户与项目交互数据安全的前提下, 实现隐私性和效用性之间的平衡. 该算法首先利用图卷积网络学习用户/项目的嵌入向量; 然后, 采用高斯机制对嵌入向量进行随机化处理, 同时基于采样的方法放大隐私预算, 减少差分噪声注入量, 以提升推荐系统的性能; 最后, 通过加权融合的方式得到用户/项目的最终嵌入向量, 并应用于推荐任务. 在3组公开数据集上进行实验验证. 结果表明, 与现有同类方法相比, 所提算法能更好地实现隐私保护与数据效用之间的平衡.

摘要:知识图谱(knowledge graph, KG)预训练模型有助于电子商务应用中各种下游任务, 然而, 对于具有高动态性的大规模电商社交知识图谱来说, 预训练模型需要及时更新以感知由用户交互引起的节点特征变化. 提出一种针对电商社交知识图谱预训练模型的高效增量学习方法, 该方法通过基于双向模仿蒸馏的训练策略充分挖掘不同样本对模型更新的作用, 并通过基于样本常规性和反常性的采样策略来减少训练数据规模, 提升模型更新效率. 此外, 还提出一种逆重放机制, 为社交知识图谱预训练模型的增量训练生成高质量的负样本. 在真实的电子商务数据集和相关下游任务上的实验结果表明, 相较于最先进的方法, 所提方法可以更有效且高效地增量更新社交知识图谱预训练模型.

摘要:得益于信息化技术的快速发展和医疗信息系统的普及, 医学数据库中积淀了海量的医学事实, 如患者临床诊疗事件以及医学专家共识等. 如何从医学事实中提炼出知识, 进而对其管理和合理利用, 是推进诊疗自动化和智能化的关键. 知识图谱作为一种新型的知识表示工具, 能够有效地挖掘和组织大规模医学事实中的信息, 受到医疗领域从业人员的广泛关注. 然而, 现有医疗知识图谱普遍存在规模小、限制多、可扩展性差等问题, 面向医学事实的知识表达能力有限. 为此, 提出一种双层医疗知识图谱架构, 通过对英文患者诊疗事件和中文专家共识进行信息抽取, 构建得到一个跨语言、多模态、动态更新、可拓展性强的10亿级医疗知识图谱, 可提供更加精准的智能医疗服务.

摘要:现有的多视图属性图聚类方法通常是在融合多个视图的统一表示中学习一致信息与互补信息, 然而先融合再学习的方法不仅会损失原始各个视图的特定信息, 而且统一表示难以兼顾一致性与互补性. 为了保留各个视图的原始信息, 采用先学习再融合的方式, 先分别学习每个视图的共享表示与特定表示再进行融合, 更细粒度地学习多视图的一致信息和互补信息, 构建一种基于共享和特定表示的多视图属性图聚类模型(multi-view attribute graph clustering based on shared and specific representation, MSAGC). 具体来说, 首先通过多视图编码器获得每个视图的初级表示, 进而获得每个视图的共享信息和特定信息; 然后对齐视图共享信息来学习多视图的一致信息, 联合视图特定信息来利用多视图的互补信息, 通过差异性约束来处理冗余信息; 之后训练多视图解码器重构图的拓扑结构和属性特征矩阵; 最后, 附加自监督聚类模块使得图表示的学习和聚类任务趋向一致. MSAGC的有效性在真实的多视图属性图数据集上得到了很好地验证.

摘要:基于关键词的审计(KA)技术是保障云审计经济适用性的重要手段. 不同于概率性审计对外包数据进行随机抽样验证, KA考虑多用户多属性数据的审计需求, 执行关键词检索和定向审计, 能有效降低审计开销. 然而, 现有的KA方案通常聚焦于目标数据的审计效率, 而很少关注审计失败后的错误定位及数据恢复等补救措施; 这无益于保障数据的可用性. 因此, 提出基于关键词的多云审计方案(简称KMCA), 结合智能合约技术实现定向审计、批量错位定位与数据恢复功能. 具体来说, 定向审计模块借鉴可搜索加密技术的索引结构, 定义关键词-文件数据映射关系, 并利用布隆过滤器的误报率特性来隐藏审计词频, 保护关键词隐私; 错误定位模块采用二分思想实现出错云服务器批量定位和受损数据细粒度定位; 数据恢复模块提出多云冗余存储与数据恢复策略, 避免单点故障, 提升存储容错率. 在随机预言机模型下, KMCA是可证明安全的. 性能分析表明, KMCA具备可行性.

摘要:近年来, 数字藏品的线上交易越发频繁, 如阿里拍卖、OpenSea等, 网络拍卖作为数字藏品交易的重要手段, 有效支撑了数字藏品在市场中的流通. 然而, 网络拍卖中竞标者的竞价隐私存在泄露风险. 针对此问题, 提出一种基于国密的数字藏品网络拍卖隐私保护方案, 该方案在保护用户竞价隐私同时, 兼顾了竞价信息的可用性. 具体来说, 通过设计同态加密计算方法, 加密竞标者的竞价信息和运用同态运算对竞价信息添加噪声这两个步骤, 保障拍卖过程竞标者竞价隐私. 根据网络拍卖隐私保护协议执行效率需求设计了基于CRT-BSGS的国密SM2同态算法, 相较于Paillier算法具有显著的效率提升. 最后, 通过实验证明了所提方案的安全性和高效性.

摘要:对抗鲁棒性评估需要结合对抗样本攻击能力与噪声幅度形成对深度学习模型噪声抵御能力的完整、准确的评测. 然而, 对抗鲁棒性评估评价指标缺乏完备性是现有对抗攻防方法的一个关键问题. 现有的对抗鲁棒性评估相关工作缺少对评价指标体系的分析与比较, 忽视了攻击成功率和不同范数对鲁棒性评估指标体系完备性的影响以及对攻防方法设计的限制. 从范数选择和度量指标两个维度展开对抗鲁棒性评价指标体系的讨论, 分别从评价指标定义域的包含关系、鲁棒性描述粒度以及鲁棒性评估序关系3个方面对鲁棒性评估指标体系完备性进行理论分析, 并得出以下结论: 使用均值等噪声统计量比使用攻击成功率等评价指标定义域更大且更全面, 同时能够保证任意两个对抗样本集合都能够进行比较; 使用${L_2} $范数比使用其他范数在鲁棒性评估的描述上更具完备性. 在6个数据集上对23种模型及20种对抗攻击方法的大量实验验证了这些结论.

摘要:跨片状态迁移协议是保证跨片交易处理原子性的基础, 其效率高低将直接影响分片系统性能. 现有协议处理过程可以分为源分片状态迁出、片间状态传输和目的分片状态迁入这3个阶段, 各阶段依次执行、紧密绑定. 利用链下状态通道灵活度高、即时确认的特点, 提出了ChannelLink跨片状态迁移协议, 将现有协议中紧密耦合的三阶段处理过程解耦, 有效降低了跨片交易平均开销, 提升了状态迁移效率. 基于此, 设计了一种低开销链下通道路由算法. 该算法基于状态迁移交易与链下通道拓扑等特征, 通过改进遗传算法, 求解最优状态路由方案, 兼顾迁移效率的同时, 降低了用户跨片状态迁移开销. 最后, 实现了ChannelLink协议原型系统, 并基于比特币交易以及闪电网络状态信息构造数据集进行实验验证. 实验结果表明, 该协议在16个分片、跨片交易比例为5.21%的场景下, 分片系统吞吐量提升7.04%, 交易确认延迟降低52.51%, 跨片状态迁移开销下降45.44%以上, 并且随着分片数量与跨片交易比例的上升, 该协议的性能优势逐步扩大.

摘要:联邦学习是一种无需用户共享私有数据、以分布式迭代协作训练全局机器学习模型的框架. 目前流行的联邦学习方法FedProto采用抽象类原型(称为特征图)聚合, 优化模型收敛速度和泛化能力. 然而, 该方法未考虑所聚合的特征图的正确性, 而错误的特征图可能导致模型训练失效. 为此, 首先探索针对FedProto的特征图中毒攻击, 论证攻击者只需通过置乱训练数据的标签, 便可将模型的推测准确率至多降低81.72%. 为了抵御上述攻击, 进一步提出双重防御机制, 分别通过全知识蒸馏和特征图甄别排除错误的特征图. 基于真实数据集的实验表明, 防御机制可将受攻击模型的推测准确率提升1–5倍, 且仅增加2%系统运行时间.

摘要:场景草图由多个前、背景物体组成, 能够直观、概括地表达复杂的语义信息, 在现实生活中有着广泛的实际应用, 逐渐成为计算机视觉和人机交互领域的研究热点之一. 作为场景草图语义理解的基础任务, 场景草图语义分割的相关研究相对较少, 现有的方法多是对自然图像语义分割的方法进行改进, 不能克服草图自身的稀疏性和抽象性等特点. 针对以上问题, 直接从草图笔画入手, 提出一种图Transformer模型结合草图笔画的时空信息来解决自由手绘场景草图语义分割任务. 首先将矢量场景草图构建成图结构, 笔画表示为图的节点, 笔画在时序和空间上的关联表示为图的边. 然后通过边增强的Transformer模块捕获笔画的时空全局上下文信息. 最后将编码后的时空特征进行多分类优化学习. 在SFSD场景草图数据集上的实验结果表明, 所提方法可以利用笔画时空信息对场景草图进行有效的语义分割, 实现优秀的性能.

摘要:深度学习已经在许多计算机视觉任务中取得了显著的成果. 然而, 深度神经网络通常需要大量的训练数据以避免过拟合, 但实际应用中标记数据可能非常有限. 因此, 数据增强已成为提高训练数据充分性和多样性的有效方法, 也是深度学习模型成功应用于图像数据的必要环节. 系统地回顾不同的图像数据增强方法, 并提出一个新的分类方法, 为研究图像数据增强提供了新的视角. 从不同的类别出发介绍各类数据增强方法的优势和局限性, 并阐述各类方法的解决思路和应用价值. 此外, 还介绍语义分割、图像分类和目标检测这3种典型计算机视觉任务中常用的公共数据集和性能评价指标, 并在这3个任务上对数据增强方法进行实验对比分析. 最后, 讨论当前数据增强所面临的挑战和未来的发展趋势.