6月27日，在2019年国际智能计算机大会主论坛上，国际测试委员会（BenchCouncil）联合中国科学院相关研究机构（计算技术研究所、网络中心、高能物理研究所和中国科学院大学）、国家超级计算深圳中心、北京尖峰新锐信息科技研究院、中国计量科学院、工信部中国软件评测中心、寒武纪、中国开放指令生态(RISC-V)联盟、中科曙光、中科云达、阿里巴巴、西安交通大学、清华大学、北京大学、之江实验室以及以俄亥俄大学为代表的美国著名大学共同发布了五项新的评测标准，具体包括智能终端(IoT AI)、边缘智能（Edge AI）、智能数据中心、智能超级计算机 HPC AI以及科学大数据评测标准。
与此同时BenchCouncil第一次公布了数据中心和智能终端（手机）两个性能榜，该性能榜使用BenchCouncil主导研发的BigDataBench测试标准，并在BenchCouncil新技术实验床“泰”上开展基准测试和验证。
据BenchCouncil执行委员会主席詹剑锋博士介绍，为了保证公正和透明，在BenchCouncil成员协议的约束下，所有的单位都可以公开加入标准的制定和实现，BenchCouncil会在BenchHub代码共享系统上开源测试标准的所有代码，并定期在官方主页 http://www.benchcouncil.org上公布性能榜榜单。
据了解，基准测试是指通过设计科学的测试方法和工具，实现一类目标对象的定量测试和排名。例如，我们常关心的大学排名就属于基准测试的一种。在信息技术领域，常对核心组件进行测试，例如中央处理器的性能等，可以使用户清楚地了解每一款CPU的运算性能是否满足应用程序的要求。随着人工智能逐渐渗透到人类社会的每一个角落，人工智能测试标准的制定成为了信息技术产业新的竞争焦点，并会引导整个产业的健康有序发展。BenchCouncil方面表示，BigDataBench是一个面向数据中心、高性能计算、终端和边缘设备人工智能的测试标准及工具。
在27日的主论坛上，BenchCouncil发布了五项新的测试标准，分别是数据中心人工智能测试标准、HPC AI500测试基准、 IoT AI测试标准、边缘AI测试标准以及科学大数据测试标准。
与此同时，BenchCouncil发起了临床医学人工智能测试标准项目，呼吁相关机构一起参与医学人工智能测试标准的制定和实现，促进人工智能在临床医学的应用。
BenchCouncil发布的五项测试标准
1.数据中心AI测试标准
数据中心AI测试标准提供组件级和应用级的测试标准。组件级测试标准包括图像分类、图像生成、文本翻译、图像文本提取、图像变换、语音识别、人脸识别、目标检测、视频预测、图像压缩、推荐、三维物体重建、文本摘要生成、空间变换14个人工智能基本问题领域。并在国际上第一次提供了数据中心以及商业人工智能两个重要的应用级测试标准，能以更综合的方式评价智能芯片、系统及算法。
2.智能超级计算机 HPC AI500 测试标准
HPC-AI500是国际上第一用真实的人工智能超算应用来评估智能超级计算机的测试标准集，它基于增量迭代的方法学和真实的智能科学计算应用场景，覆盖了当前最有代表性的智能科学计算领域(宇宙学，气候分析，高能物理)。目前，HPC-AI500基准测试集包含3个典型科学数据集，14个负载的不同软件栈实现。
3.IoT 端人工智能测试标准
随着移动设备和物联网的普及和发展，人工智能在移动和嵌入设备的有着广泛的应用前景。本测试标准旨在针对移动或嵌入设备的智能算力进行基准测试。用户可以既可以使用套件中应用负载对设备进行完整的性能测试，也可以通过微测试基准来分析和评测性能瓶颈，继而有针对性的进行优化。
4.Edge（边缘）人工智能测试标准
这是国际上第一个针对边缘计算人工智能应用提出的通用测试框架，将边缘计算的任务切分为云端、边缘计算端和用户端设备三层架构。基于三层架构将选取的边缘计算人工智能应用划分为不同的组件，这些组件分为数据采集、预处理、推断、训练、传输等。该测试标准选取了一些具有代表性的边缘计算人工智能应用场景：ICU病人监护、监控摄像头、智能家居、自动驾驶等。
5.科学大数据测试标准
结合典型的应用场景，广泛分析了天文学、生命科学、地球科学、高能物理等领域的数据特点和典型负载，构建了可扩展和统一的科学大数据测试标准集以及实现BigDataBench-S，具体包括微生物、天文和高能物理领域的数据集、数据生成工具及测试工具。
| 留言与评论（共有 0 条评论） |
