机器学习中的每篇论文都引入了一种新算法吗？

遗憾的是，是的，这是当前该领域最深层的问题之一。根据我的保守估计，每年ML上发表超过10,000篇论文（大约每天30篇），几乎每篇论文都毫无例外地引入了一种新算法。哎呀，我对下一次ML研究人员的这种罪行感到内,，自从2020年以来，我在ML上发表论文的第35年就可能比大多数人感到罪恶。

让我们尝试了解为什么这是一个问题。警告：以下讨论可能会引起您作为ML研究人员或从业人员的严重焦虑！如果您可以忍受我的推理，那么您可能会以我没有的巨大方式受益。我花了40年的时间思考ML，最近又遇到了“我是否浪费了生命？”有点危机。我应该为自己的生活做些更有用的事情吗？

首先，让我们看看大量的算法能为我们带来什么。几年前，我听过哈佛大学政治学教授加里·金（Gary King）的精彩演讲，他对文件聚类感兴趣，因为他正计划着一本退休书，以纪念一位受人尊敬的同事的生活，学术界对此的专业术语是节日。

加里·金

因此，金教授是他的彻底学者，要求他的研究生实施文献中的所有聚类算法。现在，聚类是统计和机器学习中最古老的问题之一。有很多公开的方法。因此，金教授决定将搜索限制在那些方法的原始创建者以外的研究人员使用的方法上。

不过，他们在文献中发现了250多种聚类方法，这一点都不令我感到惊讶。因此，他们编写了一个R包来比较所有它们。他们发现了什么？有没有“最佳”算法？当然不是！每种算法的行为方式都不同。最终，他们决定专注于显示来自不同聚类方法的结果，并让用户选择他或她最吸引人的分组。

我在这里以集群为例，但是对于任何ML框架，无论是监督学习，强化学习，深度学习，无监督学习等等，我都可以轻松地提出相同的观点。哎呀，在这一点上，我敢打赌，至少有一百种不同的随机梯度下降方法，这是深度学习的基础。

很明显，这种大量的算法带来了一些巨大的问题。首先，如果您是一位有抱负的ML研究人员，并且希望自己成名，那么您是否应该花一些时间来发明第251个聚类算法。经过长时间研究的人的一些提示。最大的回报来自开拓者。先前方法的每个变体获得的功劳甚至更少。研究影响是一个次模块函数，这意味着收益递减定律适用。

伊恩·古德费洛（Ian Goodfellow）在蒙特利尔大学（University of Montreal）的博士学位论文中正确地发明了对抗性生成对抗网络。GAN容易有一百种或更多种。人们像飞蛾被光吸引一样被GAN吸引。可悲的是，这些变体中很少有人能获得长期认可。伊恩将继续是围绕GAN太阳系旋转的太阳。

第二，以我的加里·金（Gary King）为例，为什么要发明第251个聚类方法，第300个用于深度强化学习的策略梯度方法，第400个回归方法，第151个随机梯度下降方法？这一切在哪里结束？

我警告过您，这场ML悲剧没有圆满的结局。就像普契尼歌剧一样我为什么这样想？你想知道：他衰老了吗？当然，我已经第六年了。这是合法的批评。但是，请听我说。

在优化和机器学习中，有一套很漂亮的定理，叫做“无免费午餐定理”（真的，我不告诉你）。从Wikipedia引述以下内容，从本质上讲，该定理说永远不会有“最佳”的机器学习算法。

搜索和优化中没有免费的午餐-维基百科

在计算复杂度并优化没有免费的午餐定理结果表明，对于某些类型的数学问题，计算成本对于所有解决方案方法，对类中所有问题平均求出解决方案的过程是相同的。因此，没有解决方案提供“捷径”。这是在假设搜索空间是概率密度函数的前提下进行的。它不适用于搜索空间具有可以更有效地利用的基础结构（例如是微分函数）的情况。牛顿优化方法），甚至可以找到完全无需搜索即可确定的封闭式解（例如二次多项式的极值）。对于这种概率假设，解决特定类型问题的所有过程的输出在统计上都是相同的。引入了一种描述这种情况的多彩方式，由戴维·沃尔珀特和William G. Macready有关搜索的问题和优化，就是说天下没有免费的午餐。Wolpert以前没有得出免费的午餐定理机器学习（统计推断）。在Wolpert的文章发表之前，Cullen Schaffer独立证明了Wolpert定理之一的受限版本，并用它来批评关于归纳问题的机器学习研究的当前状态。