服务粉丝

我们一直在努力
当前位置:首页 > 财经 >

专题 | 大数据存储与智能分析

日期: 来源:计算机研究与发展收集编辑:舒继武,王意洁等

大数据存储与智能分析专题

      计算机存储系统承载数据,是信息平台的核心基础设施. 近年来,全球数据规模爆发式增长,计算机存储系统面临着高速数据访问、海量数据存储以及存储服务质量保障的挑战. 同时,由于新型硬件(如NVMe SSD、持久内存、异构加速设备等)的发展与成熟,存储系统技术研究面临着诸多新的机遇.

      基于上述背景,为促进存储领域的技术交流,《计算机研究与发展》推出了本期存储专题. 本期专题收录了6篇论文,分别展示了新硬件环境下存储系统设计和大规模数据存储服务质量保障等存储领域关注热点的研究现状和最新研究成果,希望能为从事相关工作的读者提供借鉴和帮助.

特邀编委:

舒继武(清华大学)

王意洁(国防科技大学)








01

 

基于融合学习的无监督多维时间

序列异常检测


      随着多云时代的到来,云际智能运维能够提前检测处理云平台的故障,从而确保其高可用性. 由于云系统的复杂性,运维数据在数据局部性和数据全局性上呈现出多样的时间依赖和维度间依赖,这给多维时间序列异常检测带来很大的挑战. 然而,现有的多维时间序列异常检测方法大多是从正常时序数据中学习到特征表示并基于重构误差或预测误差检测异常,这些方法无法同时捕获多维时间序列在局部性和全局性上的信息依赖,从而导致异常检测效果差.   
      针对上述问题,本文提出了一种基于融合学习的无监督多维时间序列异常检测方法,同时对多维时间序列的数据局部特征和数据全局特征进行建模,得到更加丰富的时序重构信息,并基于重构误差检测异常. 具体地,通过在时域卷积网络中引入自注意力机制使得模型在构建局部关联性的同时更加关注数据全局特征,并在时域卷积模块和自注意力模块间加入信息共享机制实现信息融合,从而能够更好地对多维时序的正常模式进行重构. 在多个多维时间序列真实数据集上的实验结果表明,相较于之前的多维时间序列异常检测,提出的方法在F1分数上提升了高达0.0882.

【引用】
周小晖, 王意洁, 徐鸿祚, 刘铭宇. 基于融合学习的无监督多维时间序列异常检测[J]. 计算机研究与发展, 2023, 60(3): 496-508.
Zhou Xiaohui, Wang Yijie, Xu Hongzuo, Liu Mingyu. Fusion Learning Based Unsupervised Anomaly Detection for Multi-Dimensional Time Series[J]. Journal of Computer Research and Development, 2023, 60(3): 496-508. 

 

扫码可获取全文



02

 

:一种ZNS SSD感知的新型

索引结构


     ZNS SSD是近年来提出的一种新型固态硬盘(solid state drive,SSD),它以分区(Zone)的方式管理和存取SSD内的数据.相比于传统SSD,ZNS SSD可以有效提升SSD的读写吞吐,降低写放大,减少SSD的预留空间.但是,ZNS SSD要求Zone内必须采用顺序写模式,并且Zone上的空间分配、垃圾回收等任务都需要用户自行控制.ZNS SSD的这些特性对于传统数据库系统的存储管理、索引、缓存等技术均提出了新的挑战.

      针对如何使传统的索引结构适配ZNS SSD的问题,本文提出了一种ZNS SSD感知的新型索引结构——(ZNS-aware ).是目前已知的首个ZNS SSD感知的索引,它以为基础,利用ZNS SSD内部支持少量随机写的常规Zone(conventional zone,Cov-Zone)和只支持顺序写的顺序Zone(sequential zone,Seq-Zone),通过常规Zone来吸收对ZNS SSD的随机写操作.将索引节点分散存储在常规Zone和顺序Zone中,并为2种Zone内的节点分别设计了节点结构,使不仅能够吸收对索引的随机写操作,而且又可以保证顺序Zone内的顺序写要求.在实验中利用null_blk和libzbd模拟ZNS SSD设备,并将现有的CoW 修改后作为对比索引.结果表明,在运行时间、空间利用率等多个指标上均优于CoW .

【引用】

刘扬, 金培权. :一种ZNS SSD感知的新型索引结构[J]. 计算机研究与发展, 2023, 60(3): 509-524.

Liu Yang, Jin Peiquan. : A Novel ZNS SSD-Aware Index Structure[J]. Journal of Computer Research and Development, 2023, 60(3): 509-524.

     

 

扫码可获取全文 



03

 

UStore:面向新型硬件的统一存储系统


      数据规模的爆发式增长使得分布式存储广泛应用,长期以来分布式存储直接使用本地文件系统访问本地存储资源,随着高性能NVMe SSD、持久内存(persistent memory,PMEM)、异构加速设备的出现,本地文件系统难以发挥新型器件的特性和性能优势. 现有很多研究针对SSD或者PMEM的硬件特性在软件层面进行优化和改进. 然而,这些工作兼容性和扩展性差,不能灵活适配硬件环境变化,缺乏面向新型硬件的统一解决方案.

      本文提出了一种兼容多种存储介质的统一存储系统UStore,可根据业务场景灵活选择存储介质,并针对PMEM、KVS加速卡、NVMe SSD等典型硬件进行组合设计优化,充分利用其硬件特性,满足多层次的业务需求;通过一种与物理存储介质形态解耦的元数据设计,使其适应不同硬件的性能和原子更新能力差异,实现灵活的元数据存储策略;通过高效的数据管理机制和更新策略,实现无日志的数据原子写保证,消除了现有系统的写放大以及性能抖动等问题.实验结果表明,相比于BlueStore,UStore的4KB随机读性能提升了3.2倍,4KB随机写提高了8.2倍,3种典型硬件组合下UStore表现出与之相匹配的数据访问特征,充分发挥了存储硬件的特性和性能.


【引用】

屠要峰, 韩银俊, 金浩, 陈正华, 陈兵. UStore:面向新型硬件的统一存储系统[J]. 计算机研究与发展, 2023, 60(3): 525-538.

Tu Yaofeng, Han Yinjun, Jin Hao, Chen Zhenghua, Chen Bing. UStore: Unified Storage System for Advanced Hardware[J]. Journal of Computer Research and Development, 2023, 60(3): 525-538.

     

 

扫码可获取全文



04

 

一种wandering B+ tree问题解决方法


      为了应对磁盘和固态硬盘随机写和顺序写性能差异较大的问题,文件系统和块存储系统通常采用日志结构(log-structured)技术将随机写转换为顺序写. 因此,对于日志结构存储系统数据和元数据的修改都以异地写的方式执行. 在日志结构存储系统中,B+ tree常被用于管理元数据,这就会导致wandering B+ tree问题,即树结点异地更新会导致树结构递归更新. 目前,现有工作主要通过分离树结点的逻辑索引和物理地址,并使用额外的数据结构和物理设备空间存放树结点逻辑索引和物理地址的映射,从而避免递归更新树结构. 但现有方法既引入额外空间开销,又存在额外物理设备空间非顺序写的问题.

      本文提出IBT B+ tree,将树结点逻辑索引和物理地址均存放在树结构中. 同时,基于IBT B+ tree结构引入dirty链表设计,并提出了非递归更新的IBT B+ tree下刷算法. IBT B+ tree既解决了wandering B+ tree问题,又不引入额外的数据结构和物理设备空间,消除了固定物理设备空间的非顺序写. 分别实现IBT B+ tree和基于F2FS中NAT设计的B+ tree,在此基础上设计实现Monty-Dev块存储系统以评价2棵B+ tree. 实验表明,在HDD和SSD介质上,IBT B+ tree在写放大和下刷效率方面均优于NAT B+ tree.


【引用】

杨勇鹏, 蒋德钧. 一种wandering B+ tree问题解决方法[J]. 计算机研究与发展, 2023, 60(3): 539-554.

Yang Yongpeng, Jiang Dejun. A Method for Solving the wandering B+ tree Problem[J]. Journal of Computer Research and Development, 2023, 60(3): 539-554.

     

 

扫码可获取全文



05

 

多租户固态盘服务质量保障

技术综述


      得益于高密度闪存技术发展、高并行存储架构以及良好的接口技术支持,多个租户共享使用一个固态盘已经成为提高存储资源利用率和降低运营成本的常见方式.然而,多个租户竞争使用固态盘内有限的存储资源,产生相互干扰,因此如何保障多租户固态盘服务质量成为近年来的研究热点.
      首先,分析多租户固态盘服务质量保障面临性能干扰、性能不公平及总体性能损失三大问题;然后,从如何保障性能隔离、如何保障性能公平及如何优化总体性能3类目标,对现有工作进行全面分类介绍,并梳理它们的技术演进方向;最后,对多租户固态盘服务质量保障技术的研究现状进行总结,并展望潜在的未来研究方向. 

【引用】
文宇鸿, 周游, 吴秋霖, 吴非, 谢长生. 多租户固态盘服务质量保障技术综述[J]. 计算机研究与发展, 2023, 60(3): 555-571.
Wen Yuhong, Zhou You, Wu Qiulin, Wu Fei, Xie Changsheng. Quality of Service Guaranty Technology of Multi-Tenant Solid-State Drives: A Survey[J]. Journal of Computer Research and Development, 2023, 60(3): 555-571.

     

 

扫码可获取全文



06

 

新型内存硬件环境中的事务管理系统综述


      大数据爆发的时代产生了各种新的业务类型,业务数据驱动着事务管理系统创新性的迭代发展.由于传统持久化介质的制约,传统的事务管理系统无法高效执行事务.并且,解决事务冲突的额外开销仍然会限制事务管理系统的吞吐. 新型硬件的商业化应用为事务管理系统注入了更多的可能性,在学术界和工业界均得到了广泛关注. 硬件事务内存可以为事务管理系统提供硬件级别的事务冲突检测.而且,相对于固态硬盘,非易失性内存的字节寻址和持久化特性可以显著降低事务延迟并提升事务管理系统的性能. 但是,现有的事务管理系统技术无法充分地利用硬件本身带来的性能提升,因此需要重构事务架构来解决这个问题.  

      本文首先对新型硬件环境下的事务管理系统进行总结分析;之后总结了当前基于新型硬件事务管理系统的技术路线,明确了硬件事务内存和非易失性存储硬件下的事务管理系统的优势和不足;最后指明了新型硬件环境中事务管理系统未来可能的发展方向以及新的挑战.


【引用】

胡浩, 梁文凯, 李诗逸, 王鸿鹏, 夏文. 新型内存硬件环境中的事务管理系统综述[J]. 计算机研究与发展, 2023, 60(3): 572-591.

Hu Hao, Liang Wenkai, Li Shiyi, Wang Hongpeng, Xia Wen. Survey of Transaction Management System in New Memory Hardware Environment[J]. Journal of Computer Research and Development, 2023, 60(3): 572-591.


 

扫码可获取全文



点击文末“阅读原文”可以登录网站下载全文阅读。

 
关注J-CRAD服务号

同步网站功能

手机获取网刊

 

近期专题系列
专题 | 算力网络
专题 | 程序语义深度理解前沿进展
【专题】数据安全与智能隐私保护研究
【专题】智能化软件与软件控制论
【专题】数据挖掘前沿进展
【专题】空间数据智能
量子计算专题

论文精讲系列

论文精讲 | 基于知识增强的文本隐喻识别图编码方法
论文精讲 | 基于网络流量的私有协议逆向技术综述

论文精讲 | 类脑处理器异步片上网络架构

论文精讲 | 因果机器学习的前沿进展综述


亮点论文系列

特邀评述(来自腾讯高剑林总监) | 香山高性能处理器:一个新的科技平台实践

亮点论文 (来自中科院包云岗团队)  | 香山开源高性能RISC-V处理器设计与实现

特邀评述 | 龙架构:一种开放自主指令集架构的实践

亮点论文 | 龙芯指令系统架构技术

2023年目录

目录 |《计算机研究与发展》2023年第3期

目录 |《计算机研究与发展》2023年第2期

目录 |《计算机研究与发展》2023年第1期


2022年论文合辑系列
合辑 | 《计算机研究与发展》2022年刊登综述论文
合辑 | 《计算机研究与发展》2022年刊登安全与隐私保护相关论文
合辑 | 《计算机研究与发展》2022年刊登人工智能相关论文
合辑 | 《计算机研究与发展》2022年刊登体系结构相关论文 
合辑 | 《计算机研究与发展》2022年刊登软件技术相关论文

相关阅读

  • 连续两年上榜“Top 100”,但他仍然被低估

  • 导读:一直以来,中泰资管是一家有着极高口碑的资产管理公司,他们的基金经理和投资经理虽然虽然不多,但大多都有着鲜明的特点,围绕长期投资的原则,自成体系。这些年来,也有两位中泰资
  • 涨幅第一,这一板块反攻开启

  • 独家数据支持:开源证券金融工程团队在当前时代背景下,5G和云计算是重要的两大技术创新之一,5G修建了新的“信息高速公路”,云计算让数据汇聚融合成为可能,而二者的交集就是大数据
  • 这些App,要小心!你有下载吗?

  • 近期,工业和信息化部依据《个人信息保护法》《网络安全法》《电信条例》《电信和互联网用户个人信息保护规定》等法律法规,组织第三方检测机构对群众关注的生活服务、休闲娱乐
  • 某盘PJ,20M/s不限速!

  • 有同学反馈收不到推送,请大家星标Vpsoy,第一时间接收推送。软件介绍Cheat Engine是一款专注于游戏的修改器。它可以用来扫描游戏中的内存,并允许修改它们。它还附带了调试器、
  • 晚间公告丨3月22日这些公告有看头

  • 22.03.20233月22日晚间,沪深两市多家上市公司发布公告,以下是第一财经对一些重要公告的汇总,供投资者参考。▍品大事万孚生物:拟3000万元投资普译生物 加速推进米孔测序仪产品的

热门文章

  • “复活”半年后 京东拍拍二手杀入公益事业

  • 京东拍拍二手“复活”半年后,杀入公益事业,试图让企业捐的赠品、家庭闲置品变成实实在在的“爱心”。 把“闲置品”变爱心 6月12日,“益心一益·守护梦想每一步”2018年四

最新文章

  • 四川省公示第一批中国特品级旅游资源推荐名录

  • 红星新闻网3月22日讯 近日,四川省文旅厅立足全省文旅资源普查成果,以五级旅游资源为基础,以彰显大美四川、提升四川文旅影响力、助力文化强省旅游强省建设为目标,提炼总结四川代
  • 太乱了!丑柑怎么又和柠檬搞到一起了?

  • 柑橘家族关系混乱,伦理复杂,似乎已经是人尽皆知的事情了,像我们熟悉的葡萄柚、橙子、芦柑其实都是杂交来的。 不过让所长错愕的是,不知道什么时候这丑柑和柠檬又搞到了一起,还搞
  • 用自己的卡取别人的钱……还好他醒悟了

  • 神情闪躲、坐立不安,手抖得厉害,这位客户到底怎么了?  当日,中山农商银行小榄支行一营业网点的柜员老梁如往常一样,在窗口办理业务。期间,一名男性客户引起老梁的注意。当时,该客
  • 一颗苹果的“标准化”之路

  • “苹果属于鲜果,每年的品质都不尽相同,现货贸易常年就是看货定价的模式,价格受产量及品质的影响很大,企业收购及销售苹果有着较大的风险敞口。苹果期货上市以后,公开透明的价格以