上海交大招生办解读最新高招LeCun称梯度下降是最优雅的ML算法Marcus却坚决不同意这种算法真的
在一个关于机器学习最优雅美丽的idea讨论中，Gary Marcus和Yann LeCun再次展开了一场激烈的辩论。这次，他们的争执围绕着梯度下降算法是否是机器学习领域中最优雅的方法。Marcus坚定地认为，虽然梯度下降在过去十年内对人工智能进步至关重要，但它并非无限强大，而是需要被补充和完善。
LeCun则一派否定态度，他回忆了自己1989年的论文，在该论文中通过使用梯度下降训练了CNN进行图像识别，并且这项技术后来成为计算机视觉研究的基础理论。他还提到2000年丹佛NIPS会议上的经历，当时他回答“梯度下降”是ML中学到的最重要东西，这让那位杰出的ML研究人员感到惊讶。
Marcus并不满足于这样的回应，他指出自己的立场从1992年就一直是一致的，即深度学习需要被重新定义，不仅仅是一个通用的解决方案，而应该是一种多样化工具集的一部分。最近的一篇演讲也强调了这一点：我们不需要放弃深度学习，但要找到其他方式来补充它，因为智能本身就是多维面的。
LeCun则坚持认为，基于梯度的优化只是学习过程中的一个组成部分，而不是构建人类级别的人工智能所需的一切。在他的看来，没有理由相信基于符号处理操作会取代或者替换掉现有的方法。而对于Marcus提出的未来可能出现新的工具，比如与SGD一起工作的符号处理操作，LeCun表示，那将意味着进入他的世界，也就是说接受深层网络作为一种基本工具，然后寻找如何结合其他推理系统以达到更高水平。
这个争议反映出了不同观点对于AI发展方向和潜力理解上的分歧。一些人认为，我们应该继续探索现有技术，同时寻找新的方法来增强它们；而另一些人则主张，我们需要超越当前状态，以更加广泛和多样化的手段实现真正的人工智能。
