当前,数据已经成为数字经济时代的基础性资源、重要生产力和关键生产要素,以数据为关键要素的数字经济正在强势崛起,引领人类社会由工业经济时代进入数字经济时代。近日,在一场聚焦“数据领域新趋势和新科技”的下线沙龙上,Aloudata CEO 周卫林表示,随着业务需求的快速变化,数据需求也在持续增长,在数字化管理向数智化运营转变的过程中,数据需求的增长尤为显著。Aloudata AIR不仅实现了多源异构数据的虚拟化集成,无需物理搬运数据,而且还通过自动化物化链路编排和智能查询下推技术,实现了自适应的查询加速,从而提高了处理效率。
探索全新数据集成方式
“在数字化管理层面,数据需求通常比较固定和清晰。然而,在数智化运营层面,数据需求则充满不确定性,往往在使用过程中才能明确。”周卫林表示,传统上,以管理层的报表为例,通常情况下,涉及从数据中提取信息、制作汇总表,这个过程相对简单,但当我们回到数场景时情况就变得复杂许多。同一个指标,在管理层看来很直接,但当它到达业务运营层面时,会引起分析师和业务人员的广泛需求,产生新的数据链路。这个链路涉及到创建宽表模式,以满足用户的具体需求。随后,这引发了更多的明细层数据的建模,以及更多数据源的引入。
基于此,他们探索出“NoETL”(无ETL)模式。周卫林表示,这种模式旨在寻找一种不再依赖于传统ETL工程师驱动的方法,从而实现数据生产力的可持续和大规模增长。首先,从需求端来看,着手实现逻辑集成。传统数据工程体系在满足管理层需求时可能表现良好,但对于底层业务人员而言,他们需要的不仅仅是报表,而是更细粒度的数据集和口径明确的指标。其次,自动构建全局数据的逻辑视图,并通过AI增强的自适应加速技术,替代传统的人工ETL链路加工。第三将实施语义建模和指标定义。最后,实现一个能够实时感知全局信息的主动元数据系统。
“传统的数据集成方式涉及到物理同步数据和人工的ETL开发,我们提出了一种使用逻辑方式进行数据集成和自动化重构ETL链路的新方法。”周卫林表示,他们还探索出一种全新的数据集成方式。类比于电商平台,商家首先发布商品,消费者通过加购物车、下单来完成交易,下单后商家再发物流,物流再进行配送。这与传统的“先补货再销售”的模式截然不同。只有这样计算力使用效率才最高。此外,即基于元数据驱动的管理,他们实现管理自动化,即一套能够感知当前系统状态的元数据系统。主动元数据不同于被动元数据,它类似于实时导航系统,不仅提供精确定位,还能辅助驾驶。
为数据安全保驾护航
如何让更多人能够更普遍地接触并使用数据?如何管理这些海量数据?随着数据增多,人们开始担忧隐私和数据安全。人们迫切的需要找到一种方式,既能让人们充分利用数据改善生活体验,又能保证数据在安全、合规、可控的环境中流通。
“Data Fabric是一种新型的数据管理模式,它旨在提高数据管理的效率和智能化程度。”Aloudata CPO 肖裕洪表示,它通过逻辑化集中、动态集成、智能治理和增强型数据目录等手段,实现了更高效、更智能的数据管理。
肖裕洪介绍,在Data Fabric中,数据不再需要物理集中,而是通过逻辑集中,将数据连接起来。这种方式的优点是不需要提前将数据物理上集中起来,而是通过连接数据,实现数据的逻辑集中。同时,也避免了传统的人工集成和编排方式,而是采用动态集成的方式,自动发现和集成企业中的数据。Data Fabric的核心思想是自动化。它通过自动化手段,将原本需要大量人工操作的工作自动化,重新定义了人与数据的交互模式。这种转变使得在数据源和使用场景不断增多的情况下,原本依靠人工无法持续的状态得以通过自动化替代。
与目前传统的数据管理方式相比,肖裕洪表示Data Fabric主要避免了刚性集成,强调智能化治理,能够智能发现数据质量问题,甚至自动修复某些问题。这种新型的数据管理模式,它通过逻辑化集中、动态集成、智能治理和增强型数据目录等手段,提高了数据管理的效率和智能化程度。它使得数据管理变得更加高效、智能和自动化,是未来数据管理的重要发展方向之一。