因近期稿件咨询量过大,请优先通过在线投稿的方式进行稿件投递,我们会在2个工作日内对您的稿件进行审核,审核期过后未收到回复的,可另投其他期刊。

机器学习中的每篇论文都引入了一种新算法吗?

遗憾的是,是的,这是当前该领域最深层的问题之一。根据我的保守估计,每年ML上发表超过10,000篇论文(大约每天30篇),几乎每篇论文都毫无例外地引入了一种新算法。哎呀,我对下一次ML研究人员的这种罪行感到内,,自从2020年以来,我在ML上发表论文的第35年就可能比大多数人感到罪恶。

让我们尝试了解为什么这是一个问题。警告:以下讨论可能会引起您作为ML研究人员或从业人员的严重焦虑!如果您可以忍受我的推理,那么您可能会以我没有的巨大方式受益。我花了40年的时间思考ML,最近又遇到了“我是否浪费了生命?”有点危机。我应该为自己的生活做些更有用的事情吗?

首先,让我们看看大量的算法能为我们带来什么。几年前,我听过哈佛大学政治学教授加里·金(Gary King)的精彩演讲,他对文件聚类感兴趣,因为他正计划着一本退休书,以纪念一位受人尊敬的同事的生活,学术界对此的专业术语是节日。

加里·金

因此,金教授是他的彻底学者,要求他的研究生实施文献中的所有聚类算法。现在,聚类是统计和机器学习中最古老的问题之一。有很多公开的方法。因此,金教授决定将搜索限制在那些方法的原始创建者以外的研究人员使用的方法上。

不过,他们在文献中发现了250多种聚类方法,这一点都不令我感到惊讶。因此,他们编写了一个R包来比较所有它们。他们发现了什么?有没有“最佳”算法?当然不是!每种算法的行为方式都不同。最终,他们决定专注于显示来自不同聚类方法的结果,并让用户选择他或她最吸引人的分组。

我在这里以集群为例,但是对于任何ML框架,无论是监督学习,强化学习,深度学习,无监督学习等等,我都可以轻松地提出相同的观点。哎呀,在这一点上,我敢打赌,至少有一百种不同的随机梯度下降方法,这是深度学习的基础。

很明显,这种大量的算法带来了一些巨大的问题。首先,如果您是一位有抱负的ML研究人员,并且希望自己成名,那么您是否应该花一些时间来发明第251个聚类算法。经过长时间研究的人的一些提示。最大的回报来自开拓者。先前方法的每个变体获得的功劳甚至更少。研究影响是一个次模块函数,这意味着收益递减定律适用。

伊恩·古德费洛(Ian Goodfellow)在蒙特利尔大学(University of Montreal)的博士学位论文中正确地发明了对抗性生成对抗网络。GAN容易有一百种或更多种。人们像飞蛾被光吸引一样被GAN吸引。可悲的是,这些变体中很少有人能获得长期认可。伊恩将继续是围绕GAN太阳系旋转的太阳。

第二,以我的加里·金(Gary King)为例,为什么要发明第251个聚类方法,第300个用于深度强化学习的策略梯度方法,第400个回归方法,第151个随机梯度下降方法?这一切在哪里结束?

我警告过您,这场ML悲剧没有圆满的结局。就像普契尼歌剧一样我为什么这样想?你想知道:他衰老了吗?当然,我已经第六年了。这是合法的批评。但是,请听我说。

在优化和机器学习中,有一套很漂亮的定理,叫做“无免费午餐定理”(真的,我不告诉你)。从Wikipedia引述以下内容,从本质上讲,该定理说永远不会有“最佳”的机器学习算法。

搜索和优化中没有免费的午餐-维基百科

计算复杂度并优化没有免费的午餐定理结果表明,对于某些类型的数学问题,计算成本对于所有解决方案方法,对类中所有问题平均求出解决方案的过程是相同的。因此,没有解决方案提供“捷径”。这是在假设搜索空间是概率密度函数的前提下进行的。它不适用于搜索空间具有可以更有效地利用的基础结构(例如是微分函数)的情况。牛顿优化方法),甚至可以找到完全无需搜索即可确定的封闭式解(例如二次多项式的极值)。对于这种概率假设,解决特定类型问题的所有过程的输出在统计上都是相同的。引入了一种描述这种情况的多彩方式,由戴维·沃尔珀特和William G. Macready有关搜索的问题和优化,就是说天下没有免费的午餐。Wolpert以前没有得出免费的午餐定理机器学习统计推断)。在Wolpert的文章发表之前,Cullen Schaffer独立证明了Wolpert定理之一的受限版本,并用它来批评关于归纳问题的机器学习研究的当前状态。


没有免费的午餐定理

好的,您可以阅读Wolpert的原始论文,了解优化中没有免费的午餐定理。本质上,在所有输入分布上取平均值,没有算法可以控制其他所有算法。因此,没有最佳的聚类方法,最佳的强化学习方法,最佳的分类器等。全都是烟雾和镜子。

因此,我意识到在将40年的生命奉献给机器学习时,我是否浪费了生命?ML彩虹的尽头没有金子。根据无免费午餐定理,只是幻灭。

那么,这将使有抱负的ML研究人员离开哪里?我的建议是专注于ML问题,而不是算法。问题的解决是关键。爱因斯坦曾经有句著名的话,当被问及如果他的生活要依靠解决某个问题而要做什么时,他还有一个小时的时间。他说,他将花55分钟思考正确的配方,花5分钟解决它。我担心,机器学习研究人员的发展方向相反。

我让您最好地决定如何度过自己的时间。我希望您比我更明智地使用它!

宝宝起名

本站所有相关知识仅供大家参考、学习之用,部分来源于互联网,其版权均归原作者及网站所有,如无意侵犯您的权利,请与小编联系,我们将会在第一时间核实并给予反馈。
相关期刊推荐
艺术大观

艺术大观

合作期刊 - 省级期刊

传媒论坛

传媒论坛

合作期刊 - 省级期刊

财经界

财经界

合作期刊 - 国家级期刊

现代商业

现代商业

合作期刊 - 国家级期刊

化工管理

化工管理

合作期刊 - 国家级期刊