这是一个信息爆炸的时代,每天都有数以万计的数据在流通,云计算、大数据成为这个时代的热词。各行各业的企业希望处理并关联多个来源的数据以实时获取洞察,数据流分析的商机迅速增加。越来越多的企业利用内存数据库和数据流分析来实时处理、关联和分析数据——无论是边缘设备数据、本地数据还是云端数据,数据流分析必将成为主流。
数据流分析成为“网红”
网红大家都不陌生,新兴产业里的“网红”你可知道是什么?数据流分析当仁不让。
传统意义上,数据管理和分析功能主要以批处理为导向,用于处理有限的历史数据集。更大的数据校正、更快的吞吐量和更短的分析时延支持在数秒内生成和交付洞察,从而为新类型的决策制定和更出色的重复任务自动化开辟道路,简单来说就是短时间内高效处理大量的数据,然后给企业有足够的时间制定一些计划。
数据流分析成功的原因有以下几个融合因素:
•就带宽和范围而言,连接能力激增,允许访问范围更广的数据源和设备类型。
•边缘设备——从物联网 (IoT) 传感器到本地处理——支持更智能的数据收集、整理和分发。Gartner 表示,到 2020 年,使用的互联设备将达到 204 亿台。
•核心计算的能力大幅提高,从而创建大规模可扩展的处理架构。
•内存处理利用更快。如英特尔® 傲腾™技术,产生革命性飞跃,减少时延,加快应用速度,实现快速缓存和存储、降低时延敏感性工作负载事务成本、增加每台服务器的规模。
•分析软件工具已进行调整和演进,结合业务部门应用按需提供洞察。
数据流分析拥有无限可能
2012年11月奥巴马在全国失业率高于7.4%的情况下连任成功,这和竞选团队的大数据战略有着不可分割的关系。大规模的数据深入挖掘,帮助奥巴马在获取有效选民、投放广告、募集资金方面起到重要作用。让他在整个竞选过程中花了不到3亿美元,却赢得了花了近4亿美元的罗姆尼!
越来越多的企业利用内存数据库和数据流分析来实时处理、关联和分析数据。各层级的决策者将从后顾性决策转向前瞻性决策,因此依靠数据流分析提供洞察的业务需求将随之增长。如今,许多需要实时洞察的大数据解决方案在业务部门 (LOB) 直接产生,而非仅仅来自首席信息官办公室,因为获取洞察的速度是企业能否脱颖而出的关键因素。
数据流分析的魅力无限
数据流分析应用广泛,从董事会到基层,整个组织都能感受到洞察所带来的优势。可以通过数据流分析,提前预测事件,从而达到先一步的预防或部署,以下场景展示了数据流分析解决方案的强大功能。
通过 SAS 事件流处理改进运营
软件公司 SAS 专注大数据和分析业务超过 40 年。凭借其高级ESP 引擎,SAS 物联网分析* (SAS Analytics for IoT) 每秒可处理数百万个事件,通过以下方式推动新运营模型的潜力:
•识别和评估原本未被发现的问题
•预测即将发生的失败并生成实时通知
•筛选、汇总并关联数据,以描绘相关模式
这些功能不仅意味着问题可以得到积极解决,而且能够实现新的工作方式。例如,根据平均预期寿命,公司办公楼的空气过滤器通常每六个月更换一次,而不考虑情境因素(如花粉量)。通过使用主动维护计划,而非任意安排,使用基于传感器的数据和ESP 可改善空气质量并减少浪费。
通过 SAP HANA 和内存数据库获取董事会层级的洞察
自 2005 年以来,英特尔和 SAP 一直保持合作,致力于提高SAP 应用在英特尔® 架构上的性能表现。SAP HANA 平台通过将列式数据存储、大规模并行处理 (MPP) 和内存计算相结合,充分利用三者优势。
SAP 的 Digital Boardroom 应用可提供下至所有业务部门、上至高层管理人员的实时洞察,在制造和物流、人力资源和采购、财务和销售等部门推动决策制定,确保提高利益相关者价值。该示例说明,数字化转型在整个企业中创造新的数据来源后,组织有机会从自上而下的数据流分析中受益。
使用 Apache Spark* 通过深度学习检测欺诈
近年来,Apache Spark 凭借开源内存架构,可以实时处理和分析批量数据与海量流式数据:高性能来自于执行内存处理的能力,而不是将数据保存到硬盘。研究公司 Wikibon 表示,Apache Spark 到 2019 年增长率将达到 72%。
Spark 的一个核心优势在于,它能够处理整个分析流水线,并大规模训练机器和深度学习模型。针对深度学习部署,为了简化该工作流程并提高效率,英特尔提出了名为 BigDL 的开源计划,这是一个分布式库,可借助 Apache Spark 构建深度学习应用。结合 BigDL,Apache Spark 支持数据流分析传输训练和推理算法。与用于深度学习的许多其他库不同,BigDL 衍生自 Apache Spark:结合 BigDL,深度学习应用可作为在现有Spark 或 Hadoop* 集群上运行的标准 Spark 程序来编写。因此,BigDL 可加快价值实现速度,降低总体拥有成本 (TCO),提高易用性。
以金融服务为例,基于 Apache Spark 和 BigDL、由数据流分析支持的模型可以扩展到电子贸易之外,从而获得更深入的风险管理、监管合规和欺诈检测洞察。如果可以实时识别欺诈,一旦发生便加以预防,就可大幅降低成本并提高保护级别。
数据流分析还可以广泛应用于临床医疗,监控患者安全、个性化患者结果、评估临床风险并减少患者再入院,从而提升医疗效率并改善患者体验;在交通方面可以使用传感器中的流式数据预测发动机故障从而降低在路上进行修理的风险;在零售库存和行为监控方面可改善实时库存跟踪,了解客户在店内或网上的行为方式,从而推动运营效率、提高销量、改善安全性并增强客户满意度......一切你可以想得到或是想不到的领域,数据分析无处不在。
我们的生活中存在着许多不可预知的事情,数据流的分析就是把不可预知的事情大幅度减少,英特尔想做的是让所有的未来可以预见,让未来不再渺茫!
英特尔助力数据流分析
数据流分析需要一个面向未来的平台,英特尔也在为这个平台一直努力着,通过更新处理器的技术以及内存驱动的换代等方式来为这个平台服务。该平台应该能够支持复杂的数据管理、高性能、低时延,并且能够大规模运行。正如从示例中看到的,通过将高效的硬件与高效的全新数据分析软件相结合,数据流分析的商机范围可拓展到全新领域。从硬件的角度来看,英特尔仍处于数据流分析发展的前沿:
•英特尔® 至强® 可扩展处理器可实现出色的资源利用率和敏捷性,凭借时钟速度和英特尔技术提供出色的分析性能,无需依赖高内核数的处理器。
•英特尔® 傲腾™技术以独特的方式将英特尔® 3D XPoint™内存媒体、英特尔® 内存和存储控制器、英特尔® 互连 IP 和英特尔®软件组合在一起。对于需要大容量和快存储的工作负载,这些构建块可共同减少时延并加快系统运行速度。
•英特尔® 内存驱动技术是软件定义的内存 (SDM) 技术,能够透明地扩展系统内存。通过与英特尔® 傲腾™固态盘 (SSD) 相结合,该技术能够将固态盘整合到内存子系统中,使固态盘看起来像 DRAM,从而扩大内存容量,突破 DRAM 的限制。
英特尔继续优化硬件、存储和软件,在吸纳、处理和交付数以TB 计的海量流式数据过程中,兼顾性能与可扩展性。请关注此版块,我们会陆续发布关于如何使用英特尔® 技术实现数据流分析目标的公告。为进一步加快选择和部署当今广泛分析场景所需的硬件与软件的
过程,英特尔® 精选解决方案提供大量灵活、易于部署且可扩展的解决方案,这些解决方案专门针对性能进行了优化。
结束语
现在是一个云时代,未来也将是一个云时代。云时代一定离不开的就是大数据,它们是现在以及未来的宠儿,也拥有无限的商机。现代数据的爆发式增长,加上基于实时数据的决策需求增加,使得由机器学习支撑的实时数据流分析成为公司保持竞争力不可或缺的利器。像Amazon、淘宝、京东等电商平台每天都需要处理大量的数据,或者即将到来的5G时代,实时组织的数据流分析就不可或缺,英特尔提供了英特尔® 精选解决方案库,能够帮你提高决策信心,提高预测准确性可推动新的业务模式和商机,从而提高竞争力并获得致胜优势。
文章资料来源:英特尔中国
留言与评论(共有 0 条评论) |