大数据存储与智能分析专题
计算机存储系统承载数据,是信息平台的核心基础设施. 近年来,全球数据规模爆发式增长,计算机存储系统面临着高速数据访问、海量数据存储以及存储服务质量保障的挑战. 同时,由于新型硬件(如NVMe SSD、持久内存、异构加速设备等)的发展与成熟,存储系统技术研究面临着诸多新的机遇.
基于上述背景,为促进存储领域的技术交流,《计算机研究与发展》推出了本期存储专题. 本期专题收录了6篇论文,分别展示了新硬件环境下存储系统设计和大规模数据存储服务质量保障等存储领域关注热点的研究现状和最新研究成果,希望能为从事相关工作的读者提供借鉴和帮助.
特邀编委:
舒继武(清华大学)
王意洁(国防科技大学)
01
基于融合学习的无监督多维时间
序列异常检测
扫码可获取全文
02
:一种ZNS SSD感知的新型
索引结构
ZNS SSD是近年来提出的一种新型固态硬盘(solid state drive,SSD),它以分区(Zone)的方式管理和存取SSD内的数据.相比于传统SSD,ZNS SSD可以有效提升SSD的读写吞吐,降低写放大,减少SSD的预留空间.但是,ZNS SSD要求Zone内必须采用顺序写模式,并且Zone上的空间分配、垃圾回收等任务都需要用户自行控制.ZNS SSD的这些特性对于传统数据库系统的存储管理、索引、缓存等技术均提出了新的挑战.
针对如何使传统的索引结构适配ZNS SSD的问题,本文提出了一种ZNS SSD感知的新型索引结构——(ZNS-aware ).是目前已知的首个ZNS SSD感知的索引,它以为基础,利用ZNS SSD内部支持少量随机写的常规Zone(conventional zone,Cov-Zone)和只支持顺序写的顺序Zone(sequential zone,Seq-Zone),通过常规Zone来吸收对ZNS SSD的随机写操作.将索引节点分散存储在常规Zone和顺序Zone中,并为2种Zone内的节点分别设计了节点结构,使不仅能够吸收对索引的随机写操作,而且又可以保证顺序Zone内的顺序写要求.在实验中利用null_blk和libzbd模拟ZNS SSD设备,并将现有的CoW 修改后作为对比索引.结果表明,在运行时间、空间利用率等多个指标上均优于CoW .
【引用】
刘扬, 金培权. :一种ZNS SSD感知的新型索引结构[J]. 计算机研究与发展, 2023, 60(3): 509-524.
Liu Yang, Jin Peiquan. : A Novel ZNS SSD-Aware Index Structure[J]. Journal of Computer Research and Development, 2023, 60(3): 509-524.
扫码可获取全文
03
UStore:面向新型硬件的统一存储系统
数据规模的爆发式增长使得分布式存储广泛应用,长期以来分布式存储直接使用本地文件系统访问本地存储资源,随着高性能NVMe SSD、持久内存(persistent memory,PMEM)、异构加速设备的出现,本地文件系统难以发挥新型器件的特性和性能优势. 现有很多研究针对SSD或者PMEM的硬件特性在软件层面进行优化和改进. 然而,这些工作兼容性和扩展性差,不能灵活适配硬件环境变化,缺乏面向新型硬件的统一解决方案.
本文提出了一种兼容多种存储介质的统一存储系统UStore,可根据业务场景灵活选择存储介质,并针对PMEM、KVS加速卡、NVMe SSD等典型硬件进行组合设计优化,充分利用其硬件特性,满足多层次的业务需求;通过一种与物理存储介质形态解耦的元数据设计,使其适应不同硬件的性能和原子更新能力差异,实现灵活的元数据存储策略;通过高效的数据管理机制和更新策略,实现无日志的数据原子写保证,消除了现有系统的写放大以及性能抖动等问题.实验结果表明,相比于BlueStore,UStore的4KB随机读性能提升了3.2倍,4KB随机写提高了8.2倍,3种典型硬件组合下UStore表现出与之相匹配的数据访问特征,充分发挥了存储硬件的特性和性能.
【引用】
屠要峰, 韩银俊, 金浩, 陈正华, 陈兵. UStore:面向新型硬件的统一存储系统[J]. 计算机研究与发展, 2023, 60(3): 525-538.
Tu Yaofeng, Han Yinjun, Jin Hao, Chen Zhenghua, Chen Bing. UStore: Unified Storage System for Advanced Hardware[J]. Journal of Computer Research and Development, 2023, 60(3): 525-538.
扫码可获取全文
04
一种wandering B+ tree问题解决方法
为了应对磁盘和固态硬盘随机写和顺序写性能差异较大的问题,文件系统和块存储系统通常采用日志结构(log-structured)技术将随机写转换为顺序写. 因此,对于日志结构存储系统数据和元数据的修改都以异地写的方式执行. 在日志结构存储系统中,B+ tree常被用于管理元数据,这就会导致wandering B+ tree问题,即树结点异地更新会导致树结构递归更新. 目前,现有工作主要通过分离树结点的逻辑索引和物理地址,并使用额外的数据结构和物理设备空间存放树结点逻辑索引和物理地址的映射,从而避免递归更新树结构. 但现有方法既引入额外空间开销,又存在额外物理设备空间非顺序写的问题.
本文提出IBT B+ tree,将树结点逻辑索引和物理地址均存放在树结构中. 同时,基于IBT B+ tree结构引入dirty链表设计,并提出了非递归更新的IBT B+ tree下刷算法. IBT B+ tree既解决了wandering B+ tree问题,又不引入额外的数据结构和物理设备空间,消除了固定物理设备空间的非顺序写. 分别实现IBT B+ tree和基于F2FS中NAT设计的B+ tree,在此基础上设计实现Monty-Dev块存储系统以评价2棵B+ tree. 实验表明,在HDD和SSD介质上,IBT B+ tree在写放大和下刷效率方面均优于NAT B+ tree.
【引用】
杨勇鹏, 蒋德钧. 一种wandering B+ tree问题解决方法[J]. 计算机研究与发展, 2023, 60(3): 539-554.
Yang Yongpeng, Jiang Dejun. A Method for Solving the wandering B+ tree Problem[J]. Journal of Computer Research and Development, 2023, 60(3): 539-554.
扫码可获取全文
05
多租户固态盘服务质量保障
技术综述
扫码可获取全文
06
新型内存硬件环境中的事务管理系统综述
大数据爆发的时代产生了各种新的业务类型,业务数据驱动着事务管理系统创新性的迭代发展.由于传统持久化介质的制约,传统的事务管理系统无法高效执行事务.并且,解决事务冲突的额外开销仍然会限制事务管理系统的吞吐. 新型硬件的商业化应用为事务管理系统注入了更多的可能性,在学术界和工业界均得到了广泛关注. 硬件事务内存可以为事务管理系统提供硬件级别的事务冲突检测.而且,相对于固态硬盘,非易失性内存的字节寻址和持久化特性可以显著降低事务延迟并提升事务管理系统的性能. 但是,现有的事务管理系统技术无法充分地利用硬件本身带来的性能提升,因此需要重构事务架构来解决这个问题.
本文首先对新型硬件环境下的事务管理系统进行总结分析;之后总结了当前基于新型硬件事务管理系统的技术路线,明确了硬件事务内存和非易失性存储硬件下的事务管理系统的优势和不足;最后指明了新型硬件环境中事务管理系统未来可能的发展方向以及新的挑战.
【引用】
胡浩, 梁文凯, 李诗逸, 王鸿鹏, 夏文. 新型内存硬件环境中的事务管理系统综述[J]. 计算机研究与发展, 2023, 60(3): 572-591.
Hu Hao, Liang Wenkai, Li Shiyi, Wang Hongpeng, Xia Wen. Survey of Transaction Management System in New Memory Hardware Environment[J]. Journal of Computer Research and Development, 2023, 60(3): 572-591.
扫码可获取全文
点击文末“阅读原文”可以登录网站下载全文阅读。
同步网站功能
手机获取网刊
论文精讲系列
特邀评述(来自腾讯高剑林总监) | 香山高性能处理器:一个新的科技平台实践
亮点论文 (来自中科院包云岗团队) | 香山开源高性能RISC-V处理器设计与实现
2023年目录
合辑 | 《计算机研究与发展》2022年刊登体系结构相关论文