平头哥与英伟达如何在MLPerf基准测试中并驾齐驱其芯片制作过程的精湛技艺犹如两位高手展开对决各自展
深入探究MLPerf Inference v0.5的初步成绩：如何解读机器学习推理性能的新标准？
自成立之日起，MLPerf组织便致力于构建机器学习领域的基准测试体系。为了确保这一系统能够像CPU那样全面地衡量各种处理器和系统在执行训练后神经网络方面的性能，包括英特尔、NVIDIA、谷歌和百度等知名企业参与其中。尽管该组织目前仍处于早期阶段，其成果已经引起了业界巨头们广泛关注。
6月份，MLPerf发布了第二个基准测试集——MLPerf Inference v0.5，这是一个专门用于测量不同加速器和系统在推理任务上的表现。这一测试不仅是对推理能力的一种评估，而且将成为未来评价从低功耗SoC到数据中心高性能加速器的一种标准。
刚刚发布的官方结果显示，尽管这个版本还非常初步，只包含五个网络/基准，并且缺乏关于功耗效率的指标，但它已经吸引了主要芯片公司投递近600份提交结果，这远超出非正式预期。这种热情反映出了行业对于MLPerf作为一个可靠参考点以及其潜在影响力的期待。
这些初步成绩展示了各大芯片公司通过优化算法、硬件设计以及其他技术手段取得成功的地方。例如，在图像分类（ResNet50）、对象检测（ResNet34）和机器翻译任务（GNMT）等方面，每家公司都有机会找到适合自己的解决方案，无论是在总吞吐量、延迟还是每个加速器单独吞吐量上，都有可能实现胜利。
值得注意的是，由于缺少功耗效率指标，我们尚未能全面了解哪些解决方案更为高效。此外，对于那些希望重新训练网络或进行更广泛量化工作的人来说，还有开放分区提供了一定的灵活性，让他们可以展现出自己的创新精神与独创性。
随着时间的推移，MLPerf将继续完善其基准测试，以添加更多类型的网络，以及包括语音识别等新的任务。在未来的几年里，该组织计划使其Inference基准更加成熟，并且增加对智能手机和其他智能设备应用程序的大规模支持。此时，我们也许就能看到消费级硬件如何利用这些标准来比较它们之间相互之间的地位，从而激发新的竞争与创新。
