近日，绿色计算产业联盟“服务器典型应用场景性能评测行动”正式启动，本次评测行动包括大数据、分布式存储、Web应用、高性能计算、集中式关系型数据库管理系统、ARM原生云手机、虚拟化7大服务器典型应用场景。星环科技大数据基础平台Transwarp Data Hub(TDH)，经由中国电子技术标准化研究院作为国家权威检测机构及绿色计算产业联盟专业评测团队进行权威评测，最终顺利通过《服务器应用场景性能测试方法大数据》标准评测。
评测回顾
本次测试选用了四台Arm服务器和四台X86服务器进行对比，软件层面Arm服务器集群使用的是星环科技的TDH大数据软件，X86集群使用的是开源软件CDH。
硬件详细配置信息如下表所示
组件 | Arm服务器 | X86服务器 | 数量 |
CPU | Arm（48核*2） | IntelXeon-6248*2 | 2 |
内存 | 293332G2R*4 | 293332G2R*4 | 16 |
RAID卡 | Avago3516 | Avago3516 | 1 |
系统盘 | 480GSATASSD | 480GSATASSD | 2 |
数据盘 | 10TSATAHDD | 10TSATAHDD | 12 |
板载网卡 | 2*10GE | 2*10GE | 1 |
PCI标卡 | 1822：4*10GE | 1822：4*10GE | 1 |
TDH是星环科技自主研发的企业级一站式多模型大数据基础平台，经过多年的快速演进，不断发展成熟。
TDH采用“四层统一的多模型技术架构”，包括了11款核心产品：实时流计算引擎Slipstream、关系型分析引擎Inceptor、宽表数据库Hyperbase、搜索引擎Scope、文档数据库DocStore、图数据库StellarDB、时空数据库Spacture、时序数据库TimeLyre、键值数据库KeyByte、事件存储库Event Store、数据科学平台Sophon Discover，能够满足用户不同应用场景的需求。同时配套Aquila Insight、Manager、Audit、Guardian等工具，使TDH的安装、管理、开发、运维、升级十分便捷，给用户带来极致的开发和运维体验。
目前，TDH在政府、金融、能源、运营商、交通等各行各业积累了丰富的部署实施经验，并且不断向大数据技术新兴前沿领域进行持续探索和深入研究。 通过部署、安装、使用TDH，企业能够更有效的利用大数据平台构建核心商业系统，加速商业创新。
星环科技TDH产品评测结果
NoSQL数据库场景，测试结果以X86结果为基础，作了归一化处理。星环科技TDH结合Arm服务器平台与开源大数据软件部署在X86平台相比，1T数据使用ImportTsv方式批量导入耗时差距不大，均为40min左右。随机写、随机读和范围扫描场景下，在吞吐量上Arm结果均要领先于X86结果，平均在13%左右。
搜索分析场景，吞吐量指标上Arm结果领先X86结果较多，平均在52%左右，表现出了较大的性能优势，时延数据上两者差距不大。核心组件Scope中每个EsNode进程存在多种线程池，包括与查询相关的search、get线程池、与入库相关的bulk线程池；该类型的线程池线程数量被固定为节点CPU核数，因此Arm处理器的多核特点，具有天然的性能优势，可以增大数据处理并发度，降低响应时延。
流处理测试项以1000w条数据量为输入参数，ETL场景下单线程写入kafka partition为1的topic时Arm上流处理组件的吞吐达25万条/秒，而X86的吞吐为20万条/秒，且用时更短。Filter场景与ETL场景类似，Arm平台上的结果均表现出了一定的优势。窗口场景下对窗内数据进行计数时，TDH在Arm上的结果与Flink在X86上的结果相差不大。核心组件Slipstream计算框架是分布式并行流计算框架，其任务由taskslot数量决定并发度，taskslot数量取决于CPU物理核数。Arm处理器的多核特点可以增大流处理的并发度，提升数据处理效率。
数仓/数集场景下，星环科技TDH结合Arm服务器平台较开源大数据软件部署在X86平台的测试结果平均领先幅度较大。分析平台通过多任务并发，解决海量数据的处理问题，CPU核数越多，任务并发度越高，任务处理性能越高。这主要得益于TDH强大的离线、在线处理分析性能。另外，在硬件层面，Arm处理器相比业界主流处理器，其特点是多核计算，物理核数高，能够提升任务并发度，对加速大数据的计算性能也有一定的帮助。
星环科技TDH产品特性与优势
TDH产品架构图
自主研发
完整多模型能力
统一SQL引擎
统一存储管理
统一资源管理框架
高性能分布式文件系统
| 留言与评论（共有 0 条评论） “” |
