服务粉丝

我们一直在努力
当前位置:首页 > 科技 >

重构数据生产力,探索新数据集成为数据安全保驾护航

日期: 来源:科观收集编辑:科观

当前,数据已经成为数字经济时代的基础性资源、重要生产力和关键生产要素,以数据为关键要素的数字经济正在强势崛起,引领人类社会由工业经济时代进入数字经济时代。近日,在一场聚焦“数据领域新趋势和新科技”的下线沙龙上,Aloudata CEO 周卫林表示,随着业务需求的快速变化,数据需求也在持续增长,在数字化管理向数智化运营转变的过程中,数据需求的增长尤为显著。Aloudata AIR不仅实现了多源异构数据的虚拟化集成,无需物理搬运数据,而且还通过自动化物化链路编排和智能查询下推技术,实现了自适应的查询加速,从而提高了处理效率。

探索全新数据集成方式

“在数字化管理层面,数据需求通常比较固定和清晰。然而,在数智化运营层面,数据需求则充满不确定性,往往在使用过程中才能明确。”周卫林表示,传统上,以管理层的报表为例,通常情况下,涉及从数据中提取信息、制作汇总表,这个过程相对简单,但当我们回到数场景时情况就变得复杂许多。同一个指标,在管理层看来很直接,但当它到达业务运营层面时,会引起分析师和业务人员的广泛需求,产生新的数据链路。这个链路涉及到创建宽表模式,以满足用户的具体需求。随后,这引发了更多的明细层数据的建模,以及更多数据源的引入。

基于此,他们探索出“NoETL”(无ETL)模式。周卫林表示,这种模式旨在寻找一种不再依赖于传统ETL工程师驱动的方法,从而实现数据生产力的可持续和大规模增长。首先,从需求端来看,着手实现逻辑集成。传统数据工程体系在满足管理层需求时可能表现良好,但对于底层业务人员而言,他们需要的不仅仅是报表,而是更细粒度的数据集和口径明确的指标。其次,自动构建全局数据的逻辑视图,并通过AI增强的自适应加速技术,替代传统的人工ETL链路加工。第三将实施语义建模和指标定义。最后,实现一个能够实时感知全局信息的主动元数据系统。

“传统的数据集成方式涉及到物理同步数据和人工的ETL开发,我们提出了一种使用逻辑方式进行数据集成和自动化重构ETL链路的新方法。”周卫林表示,他们还探索出一种全新的数据集成方式。类比于电商平台,商家首先发布商品,消费者通过加购物车、下单来完成交易,下单后商家再发物流,物流再进行配送。这与传统的“先补货再销售”的模式截然不同。只有这样计算力使用效率才最高。此外,即基于元数据驱动的管理,他们实现管理自动化,即一套能够感知当前系统状态的元数据系统。主动元数据不同于被动元数据,它类似于实时导航系统,不仅提供精确定位,还能辅助驾驶。

为数据安全保驾护航

如何让更多人能够更普遍地接触并使用数据?如何管理这些海量数据?随着数据增多,人们开始担忧隐私和数据安全。人们迫切的需要找到一种方式,既能让人们充分利用数据改善生活体验,又能保证数据在安全、合规、可控的环境中流通。

“Data Fabric是一种新型的数据管理模式,它旨在提高数据管理的效率和智能化程度。”Aloudata CPO 肖裕洪表示,它通过逻辑化集中、动态集成、智能治理和增强型数据目录等手段,实现了更高效、更智能的数据管理。

肖裕洪介绍,在Data Fabric中,数据不再需要物理集中,而是通过逻辑集中,将数据连接起来。这种方式的优点是不需要提前将数据物理上集中起来,而是通过连接数据,实现数据的逻辑集中。同时,也避免了传统的人工集成和编排方式,而是采用动态集成的方式,自动发现和集成企业中的数据。Data Fabric的核心思想是自动化。它通过自动化手段,将原本需要大量人工操作的工作自动化,重新定义了人与数据的交互模式。这种转变使得在数据源和使用场景不断增多的情况下,原本依靠人工无法持续的状态得以通过自动化替代。

与目前传统的数据管理方式相比,肖裕洪表示Data Fabric主要避免了刚性集成,强调智能化治理,能够智能发现数据质量问题,甚至自动修复某些问题。这种新型的数据管理模式,它通过逻辑化集中、动态集成、智能治理和增强型数据目录等手段,提高了数据管理的效率和智能化程度。它使得数据管理变得更加高效、智能和自动化,是未来数据管理的重要发展方向之一。

相关阅读

  • 机器人ETF(159770)积蓄长期发展动能

  • 截至2023年12月14日13:54,机器人ETF(159770)委比近10%,买盘活跃,备受资金关注。数据来源:Wind,2023年12月14日机器人ETF(159770)紧密跟踪中证机器人指数,截至2023年12月14日13:54
  • 既要感知身边冷暖 又不可“一叶障目”

  • 湖南日报全媒体评论员 朱永华如何看待当前经济形势,是每一个“经济人”需要面对的问题。刚刚结束的中央经济工作会议指出,科学判断当前经济形势需要考虑宏观数据与微观感受的
  • 黄蓉:金融机构如何把握数据资产浪潮?

  • 中新经纬12月13日电 题:金融机构如何把握数据资产浪潮?  作者 黄蓉 中国经济改革研究基金会数字经济专委会主任  2030年,中国的数字经济规模有望破百万亿元。由于数字经济
  • 恒生科技指数ETF(513180)跌近1.5%

  • 2023年12月13日,港股三大指数低开,恒生指数跌0.38%,恒生科指跌0.72%,国企指数跌0.44%。隔夜美股则继续向好,美国11月份CPI数据温和上升,未影响市场此前预期,美元走势受压,美国十年期

热门文章

  • 解码“新IT”的5个特征和3大价值

  • 党的二十大报告提出,要加快发展数字经济,促进数字经济和实体经济深度融合,打造具有国际竞争力的数字产业集群。在数字经济与实体经济深度融合的产业浪潮中,以智能设备、边缘计算
  • OPPO k1的低价高配真实么?网友:不看不知道

  • 近日OPPO一款新机OPPO k1,摒弃了高价低配,就连自家老大哥r17都要怼一下。更是放弃了请代言人,以往的OPPO手机还没出来,各路流量小生,花样美男的代言就先来了。还有线下销售人员的
  • 一招教你手机无限制成为一台新设备

  • 大家平时用手机去注册app,肯定会遇到检测设备异常,交易关闭,等问题 这个都是手机已经不止1-2次注册过此app,不断更换手机仅是一个暂时的方法,却不是长久之计,手机总归会用完
  • 从零开始如何开网店

  • 随着互联网的高速发展,人们的生活发生了翻天覆地的变化,生活节奏越来越快,网购已经成为家家户户生活中离不开的一种购物方式了。网购的发展使得越来越多的人想要涉足电商事业,那

最新文章

  • 男子为情所困欲轻生,他冲上去一把抱住...

  • 凌晨时分一白衣男子在朝阳桥桥中心的护栏前一只脚已经跨了上去欲轻生恰巧路过此处的骑自行车男子见状冲上去一把抱住了他紧随其后的骑电动车男子迅速配合合力将轻生男子救下
  • 高邑县红十字会 开展心肺复苏技能培训会

  • 12月12日,高邑县红十字会联合石家庄市红十字卫生救护培训中心在高邑县新时代文明实践中心举办了心肺复苏技能培训会,成立基层红十字会的5个乡镇工作人员共计100余人参加了培训
  • 确山县人民检察院召开行刑反向衔接工作推进会

  • 本报驻马店讯(河南法制报记者 周惠 通讯员 袁进/文图)为深入贯彻最高检印发的《关于推进行刑双向衔接和行政违法行为监督构建检察监督与行政执法衔接制度的意见》,推动行刑反向