平头哥与英伟达如何在MLPerf基准测试中并驾齐驱它俩的半导体芯片测试设备又是怎样的奇迹
深入探究MLPerf推理基准测试的初步成果：如何评估机器学习处理器性能？
自成立以来，MLPerf组织一直致力于建立一个全面的机器学习处理器基准测试体系。为了确保这一目标的实现，该组织不仅邀请了业界知名企业如英特尔、NVIDIA、Google和百度参与，也积极向前发展其技术。
在6月份，MLPerf发布了第二个基准测试集——MLPerf Inference v0.5。这一版本旨在衡量各种加速器和系统执行训练后的神经网络的速度和效率。尽管这个版本仍然不完整，但它已经吸引了主要芯片公司的关注，这些公司希望通过展示他们硬件在基准测试中的表现来向客户（以及投资者）证明自己的优势。
第一轮官方基准测试提交了近600份结果，这远超出组织预期，并且显示出了行业对MLPerf的期待，以及推理芯片市场数十亿美元增长潜力的巨大。在此基础上，许多芯片公司纷纷发布与结果相关的公告或新闻稿，以宣布自己在某些类别中取得了优异成绩。
除了提供四种不同的方案——单路、多路、服务器和离线——MLPerf还分为封闭分区和开放分区两种类型。封闭分区要求芯片必须使用预先训练好的网络并达到数学上的等效性，而开放分区则允许更广泛的量化工作，从而让每家公司都能以最佳方式展示其解决方案。
经过深入研究，我们发现几乎所有参与该测试的大型科技公司都能够在某些方面获得成功。例如，在离线模式下，我们看到了Google从1 TPUv3到32台TPUv3设备性能完美扩展；NVIDIA Tesla加速器也在一些测试中表现突出；英特尔CPU以强劲表现位列榜首；而高通骁龙855SoC则超越同级竞争对手取得显著成绩。
虽然这些早期版本的问题有待完善，比如缺少功耗测量，但对于晶圆厂来说，它们现在可以了解自己与竞争者的相对位置。此外，由于机器学习优化具有较高程度的开放性，晶圆厂还有很多空间来优化它们产品，以便未来的正式评测。此外，还有一点很重要，即将到来的几年内，随着技术不断进步，基于手机应用程序进行智能手机等移动设备评测将成为可能，这无疑会使得这个领域更加丰富多彩。
