平头哥与英伟达如何在2023芯片市场的现状与趋势下同样摘得MLPerf基准测试桂冠

深声科技语音播放文章内容：在2023年，MLPerf组织发布了其第一个MLPerf Inference v0.5的结果，这个基准测试虽然不成熟，但已经吸引了业界巨头的广泛关注。平头哥和英伟达在成绩公布后都宣布自己获得了第一。

自成立初期，MLPerf组织一直致力于建立机器学习领域的基准测试，以便与CPU类似地评估处理器性能。该组织囊括了包括英特尔、NVIDIA、Google和百度在内的众多知名企业。尽管MLPerf基准测试仍处于初级阶段，而且尚未完成，但它已引起了巨大的关注。

早在6月份，MLPerf就发布了第二个基准测试集——MLPerf Inference v0.5。这是一个专门用于衡量各种加速器和系统执行训练后的神经网络速度和效率的推理性能标准。在发布四个月后，MLPerf终于公布了首个官方结果。

尽管这个初始版本仅包含五个网络/基准，并且没有考虑功耗指标，但它还是吸引了一些主要芯片公司参与，其中一些公司甚至发表声明或新闻稿来展示自己的成绩。实际上，有近600份结果提交给这个还不完全成熟的行业标准，这显示出对此类技术而言市场将持续快速增长。

随着这些首次提交工作完成，MLPerf现在正式发布其Inference v0.5的官方结果。这一基础套件分为五个基准，其中两个是移动衍生产品，并涵盖图像分类、对象检测以及机器翻译任务等不同类型。此外，它提供四种方案：单路、多路、服务器以及离线，每种方案均有终端和服务器两种常见平台配置。

更进一步的是，还有两个“分区”可供选择：封闭分区和开放分区。在封闭分区中，加速解决方案必须达到数学上的等效性，并且禁止重新训练网络；而开放分区则允许加速解决方案进行更广泛的量化工作，以及重新训练网络，以展示最佳表现。

深入分析结果，我们发现除了CPU和GPU之外，还有FPGA、DSP及专用ASIC等各大领域参与者也加入其中。不过，由于缺少功耗测试，我们目前无法全面了解能效问题。但总体来说，大部分芯片公司都可以找到至少一种场景取得成功，比如总吞吐量、高延迟每条加速器吞吐量等。

然而，对于这些早期版本来说，虽然它们为开发人员提供了一定的指导，但对于完善并添加更多网络类型（如语音识别任务）还有很多工作要做。此外，该组织计划未来会增加功耗测评，以便所有人都能看到他们设计中的能源效率，因为这通常是大规模部署规划中最重要的一点考虑因素。

尽管如此，这些先进版本作为发展过程的一部分，为芯片公司提供了解自身位置并优化硬件以准备即将到来的正式测试机会。客户们希望能够加快这一过程，因此既然第一个结果已经出来，现在芯片公司就可以专注于产品并探索下一步行动策略。而从长远来看，此类基于推理性能的人工智能应用预计将逐渐成熟，使得这种类型的人工智能技术更加易于使用，也可能被纳入消费级硬件中进行比较。