服务粉丝

我们一直在努力
当前位置:首页 > 财经 >

大数据焦点:全链路数据治理、湖仓一体、存算分离、离在线混部等新技术探索与实践丨DAMS峰会

日期: 来源:ApacheHudi收集编辑:

全球数字化带来的海量数据,给企业的数据存储和分析带来了越来越不可忽视的挑战。随着各行各业纷纷借力云计算技术,许多困难已逐渐得以克服,但如何从中挖掘出更实用、即时和可访问的商业智能隐藏的巨大潜力,仍需要我们不懈地上下求索。为此,第八届DAMS中国数据智能管理峰会特别精选以下大数据领域热门议题,将于3月31日在上海与大家一起进行深度探讨。


DAMS中国数据智能管理峰会


时间:2023年3月31日
地点:上海龙之梦大酒店(上海市长宁区延安西路1116号)
指导单位:上海市软件行业协会、上海市计算机行业协会、中国信息通信研究院云大所
主办单位:dbaplus社群




大数据主题看点


  • 腾讯、京东、网易、中国电信、携程、B站、爱奇艺、快狗打车、中国平安、光大银行、微众银行、丹诺德软件、复旦大学等产学研界技术领跑单位,都在探索哪些大数据新技术应用?

  • 背负越来越沉重的海量数据,如何踏上实时且灵活的高速列车?

  • 如何在合规、高效、可重用的前提下,充分发挥数据价值?

  • 如何建设面向未来的数据仓库与数据湖,以及两者融合的湖仓一体架构?

  • 云时代下,如何通过存算分离、离在线混部等设计,满足高并发、高可用、高性能的需求?



演讲嘉宾及议题


爱奇艺大数据大规模应用实践

爱奇艺 副总裁 孙斌


湖仓一体助力平安产险数字化转型

中国平安财险 

产险总部科技中心数据智能平台总经理 谢文峰



保险数据呈现大规模、多样性的极速增长,看数用数也愈加要求高时效和高精准,但大多数企业数据应用方式仍较为传统,用户找数取数难,数据化运营少。本次分享将具体介绍以下内容:

  1. 为应对多变的业务数据时效诉求和数据离散管理难,我们如何打破数据湖与数仓间的壁垒,构建实时的湖仓一体架构;

  2. 如何通过湖仓一体架构,使割裂数据融合统一,减少数据分析中的搬迁,实现统一的数据管理,同时增强业务数据时效,更好为业务赋能。


面向工业应用的时序数据管理和分析系统

复旦大学 教授/博导 王鹏



时序数据分析和挖掘是工业大数据处理的重要环节,现有时间序列数据库主要支持数据快速读写和简单聚集查询,通用时序分析工具主要关注预测和异常检测等单一分析功能,领域时间序列分析工具支持更丰富的分析手段,但不具有数据库能力。本次分享将介绍团队在工业时间序列管理和分析系统方面的实践探索,具体包括以下内容:

  1. 介绍工况切分、关联分析等若干典型的工业时序分析算法;

  2. 从数据管理、算法库、分析流程搭建等方面介绍系统的整体架构和核心模块。




云原生离线在线资源混部技术落地

携程 研发总监 周昕毅



介绍基于K8S平台进行离线计算集群与在线应用集群的资源混部的技术方案,具体包括以下内容:

  1. Yarn on K8S;

  2. 云原生网络模型;

  3. 统一资源调度;

  4. 大数据平台自动化运维管理。


网易严选全链路数据治理实践与总结

网易严选 数据总监 左琴



介绍网易严选在数据治理的方法论和落地实践,通过对整个生命周期的数据、任务、服务组件的治理 ,保障数据稳定、高质量地进行生产,并推进整体资源优化,以及大数据平台的演进,具体包括以下内容:

  1. 如何提升数据体系的可观测性、可运维能力以及稳定性;

  2. 如何更高效、低成本地进行数据治理,发现和减少数据系统的腐化问题。


平安集团数据中台体系建设实践

平安科技 副总工程师 姜欣



平安集团建设数据中台的目的,一方面是整合内外数据能力,形成合力更全面立体高效地赋能全业务;另一方面是建设合规高效的数据管理及运营体系,加强对数据资产的管控和治理,保证数据使用的合规安全。本次分享内容具体如下:

  1. 当前数据合规管理的现状和问题;

  2. 解读国家和监管法律法规对责任主体,在数据确权、数据资产管理、数据使用方面的要求;

  3. 基于合规底线框架,如何构建企业数据管理和运营体系,高效促进数据要素的流动;

  4. 数据管理和运营体系需要哪些技术平台支撑,如何设计规划。


实时湖仓一体在腾讯的实践落地

腾讯 实时湖仓团队负责人 邵赛赛



湖仓一体技术可以为业务带来原先Hadoop数仓所无法提供的能力,包括流批一体架构、行级更新、schema evolution、更为丰富的查询优化等。腾讯自2020年开始投入该领域,为业务带来新的能力。本议题将分享以下内容:

  1. 主流数据湖技术(Iceberg、Hudi、Delta Lake)的能力和适用场景,以及如何在业务场景中使用湖仓一体技术代替原有组件;

  2. 腾讯内部的业务如何使用湖仓一体技术改造原有架构,带来降本增效;

  3. 介绍腾讯在做的实时湖仓技术,将湖仓一体从准实时提升到实时的实践。


翼支付数据治理实践—数据治理顶层设计与实践思考

中国电信翼支付 产品总监 王平



一、介绍数据治理体系顶层设计:

  1. 数据治理体系的五大要素;

  2. 翼支付数据治理方法论——“二三四法则”;

二、分享翼支付数据治理实践:

  1. 数据治理的效益评价设计;

  2. 核心数据链路治理;

  3. 数据规范设计与落地;

  4. 数据治理平台体系建设。


京东零售多维分析存算分离的云原生实践

京东 OLAP团队负责人 李阳



云原生时代下,提供可快速交付、可弹性伸缩的多维分析服务,同时满足高可用、高性能的诉求已经成为业界共同发展的方向。本次分享将主要介绍京东零售多维分析服务在云原生建设过程中的经验、思考与展望,具体包括以下内容:

  1. OLAP云原生建设思路;

  2. 存算分离选型与落地;

  3. 智能化运维实践。


实现数据价值最大化的新一代数据编织架构

丹诺德软件 华东区业务总监 周剑魂



主要介绍一种新型的数据纺织架构,帮助企业摆脱传统数据管理及消费模式的束缚,释放更多生产力,分享具体包括以下内容:

  1. 如何利用元数据逻辑架构搭建的最新一代数据中台,使数据贴近数据源进行计算、消费及实时呈现相关数据报表;

  2. 企业如何利用便捷的数据分享方式,打通行业上下游的物理瓶颈,达到数据协作的功效;

  3. 如何最大化实现数据的内在价值。


光大银行准实时数据平台架构演进

光大银行 准实时平台技术负责人 张旭



主要介绍金融级实时消息服务架构的演进过程,分享具体包括以下内容:

  1. 如何实现复杂平台架构拆分,将业务逻辑与数据平台逻辑解耦,构建统一的消息总线服务;

  2. 在构建消息总线服务过程中,如何对周边生态进行扩展,实现高效的监控、统一的SDK封装,以及如何引入Schema Registry解决数据耦合的问题;

  3. 后续进一步建设金融级消息总线服务的重点计划。


湖仓一体在bilibili的演进之路

哔哩哔哩 OLAP平台负责人 李呈祥



湖仓一体是近年非常火的趋势,如何保持湖的灵活性,同时提供仓的高效分析效率,是一个亟待解决的问题。本次分享主要介绍bilibili在OLAP平台上遇到的挑战,以及湖仓一体的架构设计,具体包括以下内容:

  1. 湖仓一体架构的好处;

  2. 如何基于Iceberg建设湖仓一体架构;

  3. 在数据分布、索引、预计算等多方面增强优化,提升数据分析效率,降低分析成本的实践经验。


大数据在微众银行数据管理和应用方面的思考和实践

微众银行 存款科技高级数据开发工程师 邹普



介绍微众银行在数据管理和应用方面的思考和沉淀,通过对数据资产从数据的生成、加工、管理、应用等全链路的治理,更好、更高效地对业务赋能、对成本把控,节省数据管理人力投入,更高要求地对数据进行价值挖掘和应用,具体包括以下内容:

  1. 微众银行大数据IT架构;

  2. 大数据应用于金融行业面临的一系列挑战;

  3. 微众银行数据仓库在监管高要求下的架构设计、数据管理、数据应用的探索;

  4. 微众银行在海量实时数据应用上的破局之道。


快狗打车数据仓库建设与演进之路

快狗打车 数据仓库团队负责人 申琦



快狗数据仓库经过多年建设迭代,积累了丰富的落地经验,本次分享将会和大家一起交流快狗数据仓库的技术建设和未来演进方向,具体包括以下内容:

  1. 数据仓库的技术架构选型;

  2. 数据仓库如何更精细化地管理企业数据资产;

  3. 数据仓库如何更好地赋能企业业务发展;

  4. 如何做好面向未来的数据建设。


*更多大数据主题演讲嘉宾及干货议题在路上,持续更新……



峰会议程

门票/商务合作请联系钟女士,联系电话:14743605356
邮箱:[email protected]

报名方式

Apache Hudi · 专属优惠

码上报名,共襄盛会

日票原价99元/人,团购票29.9元/人


相关阅读

  • 新疆兵团农作物实地调查样本数据集建设与应用

  • 本文收录于《农业信息化》2022年第11期,目次02摘要:该文以新疆生产建设兵团2018-2021年实地调查成果数据为基础数据,综合考虑样本间差异性、多源样本组织形式,建立兵团农作物实
  • 吉林双辽富硒西瓜绿色栽培技术

  • 本文收录于《农业信息化》2022年第11期,目次16摘 要:针对吉林双辽富硒西瓜产业的推进情况,通过品种和播种时间的筛选、种子的处理、选茬整地、育苗、田间管理、病虫害整治和及
  • 国外农业气候技术

  • 全球领先的预测性农业公司Agrology已向公众发布了Sonoma和Napa俩县的2021年农业烟雾暴露报告。这份行业报告根据2021年在整个地区收集的专有和公共数据,广泛研究了两个县的烟
  • Android 14 Developer Preview一览

  • 大家好,今天原创。不久之前,Google公开了Android 14的首个Developer Preview版本。按照Google正常的节奏,每年年初会发布两个Developer Preview版本,然后在每年中上旬发布两到三
  • 2023全国两会丨解读全国人大代表姜卫东8项建议

  • 十四届全国人大一次会议3月5日,十四届全国人大一次会议在北京召开。全国人大代表、五征集团董事长姜卫东,围绕国际竞争力提升、科研项目成果转化、基层消防安全组织、企业公平
  • Kafka到底有多高可靠???

  • 原价299元,现在参加拼团活动立享优惠价仅 129 元,赶快一起参团吧!《从0开始带你成为Kafka消息中间件高手》=== 课程介绍 ===Kafka发送消息是如何优化JVM GC的?Kafka如何保证宕机

热门文章

  • “复活”半年后 京东拍拍二手杀入公益事业

  • 京东拍拍二手“复活”半年后,杀入公益事业,试图让企业捐的赠品、家庭闲置品变成实实在在的“爱心”。 把“闲置品”变爱心 6月12日,“益心一益·守护梦想每一步”2018年四

最新文章

  • 种植阳光玫瑰,这3大难题一定要攻克!

  • 阳光玫瑰葡萄含糖量较高,玫瑰香味较浓,目前综合评价是品质最好的品种之一,很多种植户都会选择种植这个品种,但是想要种出优质高产的阳光玫瑰葡萄并不是一件简单的事,需要面对的种
  • 土壤健康的标准

  • 1、土壤有机质有机质在土壤中的含量很少,在中国大多数的农田中,有机质的含量只有0.7%-1.2%。但是,它对于土壤肥力、作物健康度有着很大的影响。资料显示,在一定范围内,有机质的含
  • 德纳:从沙伊和解对以色列的影响看中国战略布局

  • 很快就很快就会进口核苷酸分公标志性不怎么能形成不怎么吃不买川贝母,差别那么,你聪明, 车,民族才能,美厨娘,梦想着在,小菜鸟,明星在农村,明显支持你,想桌在,性能车没,招贤纳才,毛主席才
  • 猕猴桃抹芽技术要点,别让你家桃输在起跑线上!

  • 每年的3、4月份,猕猴桃果场都要进行一项很重要的工作——抹芽。抹芽是指在果树发芽后至开花前,去掉那些多余的芽,此时芽子很嫩很脆,用手轻轻一抹,即可除去。科学合理地抹芽,不仅决