服务粉丝

我们一直在努力
当前位置:首页 > 科技 >

黄凯耀:深度解读openGauss架构创新与新特性

日期: 来源:中国上思融媒收集编辑:中国上思融媒


数字经济的稳步发展离不开先进的数字基础设施来高效处理爆炸式增长和积累的海量数据。而数据库作为关键基础软件,对于实现安全存储与可信计算,保障数字经济高质量发展有着十分关键的意义。拥抱开源,基于开源打开技术未来升级的大门正逐渐成为共识。

2023年4月7- 8日,第十二届“数据技术嘉年华”(DTC 2023)在北京成功举办。openGauss开源数据库首席架构师、社区技术委员会委员黄凯耀受邀参加大会,并在【开源创新:开源数据技术】专题论坛发表了 《openGauss架构创新与新特性深度解读》 的主题演讲,围绕关键行业核心客户场景为大家分享openGauss 最新发布的5.0.0版本的多项架构创新,并对其新特性进行深度解读。以下内容根据黄凯耀的演讲实录整理而成。

(嘉宾简介:黄凯耀,负责openGauss生态产品的技术规划和产品设计工作,在数据库高性能架构、高可用架构、OLTP性能优化、OLAP性能优化、一体化架构、软硬协同等领域有丰富的理论、工程与实践经验。)

一、数字时代下业界数据库架构逐渐标准化

在分享中,黄凯耀以时代趋势为引入点,并指出:“当前产业数字化带来丰富的应用场景与海量数据规模,金融、电力、教育、医疗等各个行业都有海量应用场景需要数据库架构与时俱进,协同创新。”

随着多样性计算演进,多样性应用场景和数据需要数据库支持多种算力。黄凯耀表示,过去以CPU为中心的架构,现已发展到多样性算力协同的对等计算架构,CPU、GPU、NPU甚至包括为特定场景开发的计算单元等都要形成协同关系,从而更好地去处理数据。不仅如此,多模融合成为主流,多模数据需要协同处理以实现资源集约化管理。“从过去主要处理的是结构化数据,到现在处理非结构化数据例如图、时序、流、文档等的数据类型,这对数据整合处理和整合分析提出了更高的要求。”黄凯耀说道。

在对数据库架构进行了简单的介绍后,他又对数据库系统发展类别进行了分享。黄凯耀指出,过去20余年,数据库系统发展大致为两类:第一类系统是成熟的数据库内核先叠加分布式计算,再开发分布式存储和分布式内存的能力;第二类系统即可靠的分布式存储首先叠加数据库内核,再开发分布式计算和分布式内存能力。 而提到刚刚发布不久的 openGauss 5.0.0,黄凯耀介绍其采用资源池化架构,通过数据库内核与存储层的NDP技术、内存层的多节点MVCC技术、计算层的多模多引擎技术等进行深度协同,可有效应对大规模数据库可靠性、性能、易用性的诉求。

二、openGauss 5.0.0资源池化架构

伴随着业界数据库架构逐渐走向标准化,黄凯耀对3月30日正式发布的最新版openGauss 的核心特性之一——资源池化架构进行了详细的解读。黄凯耀介绍道,面向未来的 openGauss 资源池化架构由三层池化、一个平台和一个标准组成。

(一)三层池化

三层池化包括存储池化、内存池化和计算池化。

1.存储池化支持多种存储,如分布式存储、企业存储、对象存储,实现一份数据服务于多种计算,并通过SQL算子卸载的NDP技术,大幅提升了SQL处理效率、消减网络I/O流量。

2.内存池化实现计算节点间内存的互联,通过同步事务信息和数据库缓存,实现了多节点下的多版本快照一致性读能力,结合RoCE和SCM等硬件,实现极致的Commit加速和大容量内存访问等能力。

3.计算池化支持多样性算力,基于X86、鲲鹏等算力,为应用提供TP行存加速、AP列存加速、AI训练推理等全方位的数据服务。

(二)一个平台

一体化平台的主要作用是给整个架构提供可靠的运行环境。黄凯耀强调了一体化平台的概念,即除了提供集群管理能力以外,还需要提供可观测可诊断、云边端协同、资源编排的能力,这是平台需要解决的问题。

(三)一个标准

不管是关系型、图或者时序数据库,都会通过SQL接口进行交互,因此订立一个全场景的SQL标准非常重要。制定SQL标准的目标是支持最新的系统标准与特性,同时向外扩展推出特定应用场景下的标准,包括全密态与AI标准。

随着应用场景的丰富,SQL标准能够支持的系统越来越全面。黄凯耀在此也希望能够定义出全场景的SQL标准,既可以兼容现在的核心标准特性,也可以提供更多有针对性的特性能力。未来,他希望openGauss社区还能够与国内不同的友商及合作伙伴一起来定义更多标准。

三、数据全生命周期生产力工具:openGauss DataKit

除了深入讲解 openGauss 5.0.0资源池化架构外,黄凯耀还重点分享了社区全新升级的数据全生命周期生产力工具DataKit。

他指出,社区共建以及从更宏观的层面实现产业链的共建,是DataKit最主要的发展思路。openGauss 的DBV伙伴通过DataKit平台实现了存储过程调试的功能,同时粤港澳大湾区国家技术创新中心也给DataKit贡献了三个插件,这三个插件可以实现数据库系统集群上的性能分析。不仅如此,华为还推出了“众智计划”,将插件的开发工作需求通过该计划发布,由外部更广泛的技术力量来承接联合开发。

四、产业链联合创新,打造最具创新力的openGauss技术生态

演讲尾声,黄凯耀也介绍了社区愿景,即实现产业链联合创新,打造最具创新力的 openGauss 技术生态。这里分别有两个方向的扩展,一个是垂直向上的场景扩展,一个是水平方向的能力扩展。

黄凯耀在演讲的最后呼吁大家一同加入到 openGauss 的生态建设中来,让 openGauss 成为国内最好的根技术社区。


相关阅读

  • 我省22项救助申请证明事项取消

  •   青海新闻网·大美青海客户端讯 在救助领域大刀阔斧“减肥瘦身”、删繁就简后,截至4月24日,我省已取消以前申请对象需提交的可支配收入、租赁合同等22项证明事项,用信息化核
  • 全市唯一!获省级称号!

  • 日前,山东省数据产业发展大会暨DCMM国家标准贯标会议召开,青岛西海岸新区荣获“2022年度山东省DCMM贯标先进区”称号,为全市唯一。DCMM(数据管理能力成熟度)是我国数据管理领域首
  • 2023IT市场权威榜单发布 安恒信息荣获三大奖项

  • 近日,由赛迪顾问主办的“2023IT市场权威榜单”评选结果正式发布。安恒信息凭借技术创新、经营管理等综合实力,荣获“2022-2023年度新一代信息技术创新企业”、“2022-2023年度

热门文章

  • 解码“新IT”的5个特征和3大价值

  • 党的二十大报告提出,要加快发展数字经济,促进数字经济和实体经济深度融合,打造具有国际竞争力的数字产业集群。在数字经济与实体经济深度融合的产业浪潮中,以智能设备、边缘计算
  • OPPO k1的低价高配真实么?网友:不看不知道

  • 近日OPPO一款新机OPPO k1,摒弃了高价低配,就连自家老大哥r17都要怼一下。更是放弃了请代言人,以往的OPPO手机还没出来,各路流量小生,花样美男的代言就先来了。还有线下销售人员的
  • 一招教你手机无限制成为一台新设备

  • 大家平时用手机去注册app,肯定会遇到检测设备异常,交易关闭,等问题 这个都是手机已经不止1-2次注册过此app,不断更换手机仅是一个暂时的方法,却不是长久之计,手机总归会用完
  • 从零开始如何开网店

  • 随着互联网的高速发展,人们的生活发生了翻天覆地的变化,生活节奏越来越快,网购已经成为家家户户生活中离不开的一种购物方式了。网购的发展使得越来越多的人想要涉足电商事业,那

最新文章

  • 黄凯耀:深度解读openGauss架构创新与新特性

  • 数字经济的稳步发展离不开先进的数字基础设施来高效处理爆炸式增长和积累的海量数据。而数据库作为关键基础软件,对于实现安全存储与可信计算,保障数字经济高质量发展有着十分
  • 因为一个决定,可口可乐差点倒闭了

  • 编者按:人的天性总是“喜新厌旧”吗?我们可以看到各大品牌为了留住消费者,不断推出新品、新的口味、新的外观、新的功能……不过有的产品几十年如一日没有变化,也一定有它的道理
  • 九江彭泽:举办第一届消防技术大比武

  • 在“五一”劳动节来临之际,为进一步提升全县消防安全重点单位消防训练水平和灭火救援能力,近日,彭泽县消防救援大队联合县总工会举办彭泽县第一届消防技术大比武活动。来自