企业使用前10的大数据框架 Spark居首MapReduce等下降

TechRepublic报道,根据Qubole(数据分析自动化平台)和Dimensional Research(维度研究)周二发布的报告,大数据继续在所有行业中快速增长。组织正在使用大数据来推动IT项目,改善销售并增强客户服务。他们越来越多地利用大数据框架来获得所收集信息的全部价值。

在调查了大型企业负责大数据的401名数据专业人员之后,该报告没有发现单一的软件框架在大数据领域占主导地位。但是,25%的组织正在使用自行开发的大数据处理方法。

根据该报告,以下是十大大数据框架:

Spark (31%)

Hive (17%)

HBase (17%)

MapReduce (15%)

Presto (13%)

Kafka (13%)

Impala (11%)

Storm (11%)

Flink (9%)

Pig (6%)

该报告指出,2017年有些数字增加,而其他数字则有所减少。Spark,HBase,Presto,Kafka,Impala,Flink和本地开发在2018年都大受欢迎,而Hive,MapReduce,Storm和Pig的使用量均下降。

报告发现,企业可能会优先考虑大数据计划,但人才短缺仍然是一个主要问题。四分之三(75%)的受访者表示,他们面临着大数据工程师、科学家和运营人员短缺。虽然79%的企业表示他们希望在明年增加他们的数据团队人数,但83%的企业表示很难找到具备必要技能和经验的数据专业人员。

此外,组织在大数据方面还遇到了其他一些挑战。最常见的大数据障碍是缺乏经验、减缓进度(44%),跟上新数据源(42%),不断变化的用例(41%),太多手动任务(38%),以及数据量(34%)。

报告指出,随着越来越多的公司希望在各种用例中实施机器学习计划,丰富的大数据实践变得至关重要。根据该报告,明年机器学习计划的首要任务包括改善数据安全和威胁防护、优化客户体验以及利用预测性维护。技术领导者必须要留意的重大信息

Spark、Hive和HBase是企业中最常用的大数据软件框架。—— Qubole,2018年

75%的数据专业人士表示,他们面临着大数据工程师、科学家和运营商的人员短缺。—— Qubole,2018年

发表评论
留言与评论(共有 0 条评论)
   
验证码:

相关文章

推荐文章

'); })();