平头哥与英伟达在2022年MLPerf基准测试中并驾齐驱各自摘得桂冠其背后支持的进口芯片金额更是显现
深入探究MLPerf推理基准测试的首个官方结果，雷锋网揭秘背后的科技巨头角逐。2022年，机器学习性能评测MLPerf Inference v0.5正式发布，虽然这只是一个初步版本，但它已经吸引了包括英伟达、平头哥在内的主要芯片公司的广泛关注。这些公司都渴望在这个尚未成熟的领域中展示自己的实力，并向客户和投资者证明他们提供的解决方案更为出色。
自成立之初，MLPerf组织便致力于建立稳健的机器学习性能评测体系。这一努力得到了行业各大知名企业如英特尔、NVIDIA、Google和百度等的大力支持。尽管目前MLPerf基准测试仍处于早期阶段，它们甚至还没有完成功耗测试这一重要指标，但其成果却激起了巨大的关注。
6月份，该组织就已经发布了第二个基准测试集MLPerf Inference v0.5，这是用于衡量各种加速器和系统执行训练后的神经网络速度与程度的一套通用方法。该基准将成为衡量从低功耗SoC中的NPU到数据中心高性能加速器性能标准。在4个月之后，MLPerf组织宣布推理基准测试首个官方结果。
尽管初始版本v0.5仍然不够完善，只涵盖五种网络/基准，并且还缺乏功耗测试指标，这对于全面评价整体能源效率至关重要。但即使如此，该初步版本依然吸引了主流芯片公司参与，以此来展示它们硬件在新标准下的表现，同时向客户（以及投资者）说明为什么他们选择的是最好的解决方案。此次第一轮提交结果超过600份，比预期多很多，这进一步证实了行业对MLPerf期待，以及推理芯片数十亿美元市场持续快速增长的事实。
随着第一轮申请工作结束，MLPerf现在公布Inference v0.5的官方结果，而大部分主要芯片公司也相继发布与成绩相关联的公告或新闻稿。大约有40种不同的测试分布在近600份提交中，每家芯片制造商都可以找到成功方案，无论是在总吞吐量、延迟还是每个加速器吞吐量上。这并非基于现行标准，也不是由单一方定义，但提醒我们，即使是初级版本，也能够覆盖许多用例，更不用说专门针对某些应用进行优化的情况下。
作为更新信息，v0.5分为五项基础任务，其中两个任务实际上是其各自主任务移动衍生产品。而当前桌面/服务器版涵盖图像分类（ResNet50）、对象检测（ResNet34）及机器翻译任务（GNMT）。所有这些任务都提供四种配置：单路（一个终端运行一个任务）、多路（一个终端同时运行多个任务）、服务器模式及离线模式。在此基础上，又被进一步细分为两类平台——终端与服务器平台，并从分解为相应平台上的两个最常见配置类型。
而且，在封闭区块中，还允许一定程度上的灵活性，如精度要求方面；但开放区块则更加开放，不仅允许重新训练网络，而且进行更广泛范围内数量化工作。在开放区块中，每家制造商都能以最佳方式展现其技术优势及团队创新精神。
最后，从长远看，当第1版完全开发并稳定下来后，将会变得更加易于使用，不再仅限于专业实验室。此外，由于mlperf计划开发移动应用程序以适配智能手机等设备，我们预计未来几年内，其影响将越来越大。如果运气好的话，我们将能够把mlperf推理应用到自己的日常生活中，以比较消费级硬件设备，那时真是令人兴奋的事情！
