平头哥与英伟达在MLPerf基准测试中并驾齐驱半导体巨头的芯片之争
深入探究MLPerf推理基准测试的初步成绩，科技界巨头们展现了强大的实力。自去年初成立以来，MLPerf组织不断完善其机器学习性能评估标准，吸引了包括英特尔、NVIDIA、谷歌和百度在内的行业领导者参与。尽管该基准测试仅完成了第一个版本v0.5，但它已经成功地揭示了各大公司在推理性能上的竞争格局。
MLPerf Inference v0.5目前覆盖了五个网络/基准，并将逐步扩展到更多应用场景，如图像分类、对象检测和机器翻译等。此外，该测试还提供四种不同的执行方案：单路处理、一路多任务处理、服务器端实时性能以及离线模式，这些方案可以帮助用户根据实际需求选择最合适的解决方案。
值得注意的是，MLPerf组织不仅提供封闭分区（“苹果对苹果”测试），也开放分区，让芯片制造商能够自由地重新训练网络或进行更广泛的量化工作，以展示他们独有的创新能力。
截至目前，有近600份结果来自40种不同类型的加速器，从CPU到GPU，再到FPGA和专用ASIC，每一家公司都有机会找到自己成功的领域，无论是总吞吐量还是延迟，每个加速器都有自己的优势。
虽然当前版本尚未包括功耗测试，但这一缺陷正在被纠正。随着功能不断完善，我们预计未来几年内，MLPerf Inference将成为衡量各种智能设备推理性能的一项权威标准。这不仅为消费级硬件带来了新的挑战，也为芯片制造商提供了一条快速提升产品表现并满足市场需求的道路。
