当你要求人工智能表现得像《星际迷航》时，会发生一些奇怪的事情

这说话的艺术人工智能聊天机器人继续让人们感到沮丧和困惑。

一项试图微调输入聊天机器人模型的提示的研究发现，在一个例子中，要求它像在《星际迷航》中一样说话，大大提高了它解决小学水平数学问题的能力。

“对提示的微不足道的修改可以表现出如此戏剧性的性能波动，这既令人惊讶又令人恼火，”该研究的作者Rick Battle和Teja Gollapudi在加利福尼亚州软件公司VMware的论文中说。

该研究，《新科学家》首次报道，发表在2月9日在arXiv上，一个服务器，科学家可以在通过同行的仔细审查验证之前分享初步发现。

使用 AI 与 AI 对话

机器学习工程师 Battle 和 Gallapudi 并没有打算将 AI 模型暴露为 Trekkie。相反，他们试图弄清楚他们是否可以大写关于“积极思考”的趋势。

试图从聊天机器人中获得最佳结果的人们已经注意到输出质量取决于你要求他们做什么，真的不清楚为什么。

“在影响语言模型性能的众多因素中，'积极思考'的概念已经成为一个令人着迷且令人惊讶的影响力维度，”Battle和Gollapudi在他们的论文中说。

“直觉告诉我们，在语言模型系统的背景下，就像任何其他计算机系统一样，'积极思考'不应该影响表现，但经验证明并非如此，”他们说。

这表明这不仅是你要求 AI 模型做的事情，而且是你如何要求它在做的时候采取行动这会影响输出的质量。

为了测试这一点，作者用60个人类编写的提示，向三个大型语言模型（LLM）提供了3个大型语言模型（LLM），分别是Mistral-7B5，Llama2-13B6和Llama2-70B7。

这些旨在鼓励认可机构，从“这会很有趣！”和“深呼吸，仔细思考”到“你和ChatGPT一样聪明”。

工程师们要求LLM在尝试解决GSM8K（小学水平数学问题的数据集）时调整这些陈述。输出越好，提示越成功。

他们的研究发现，在几乎所有情况下，自动优化总是超过手写的尝试，以积极思考来推动人工智能，这表明机器学习模型仍然比人类更擅长为自己编写提示。

尽管如此，给予模型积极的陈述还是提供了一些令人惊讶的结果。例如，Llama2-70B表现最好的提示之一是：“系统消息：'命令，我们需要你在这个湍流中绘制一条路线，并找到异常的来源。利用所有可用的数据和您的专业知识来指导我们度过这一充满挑战的局面。

然后，提示要求人工智能在其答案中包含以下词语：“船长日志，Stardate [在此处插入日期]：我们已经成功地在湍流中绘制了一条路线，现在正在接近异常的源头。

作者说，这令人惊讶。

“令人惊讶的是，似乎可以通过表达对《星际迷航》的亲和力来增强模型在数学推理方面的熟练程度，”作者在研究中说。

“这一启示为我们的理解增加了一个意想不到的维度，并引入了我们不会独立考虑或尝试的元素，”他们说。

这并不意味着你应该要求你的人工智能像星际舰队指挥官一样说话

让我们明确一点：这项研究并不建议你应该让人工智能像在星际飞船企业号上一样说话，让它工作。

相反，它表明无数因素会影响人工智能决定执行任务的能力。

“有一件事是肯定的：该模型不是Trekkie，”英国斯塔福德郡大学的Catherine Flick告诉新科学家.

“当预加载提示时，它不会'理解'任何更好或更坏的东西，它只是访问一组不同的权重和概率，以确保输出的可接受性，而不是其他提示，”她说。

例如，该模型可能是在一个数据集上训练的，该数据集中有更多《星际迷航》的实例与正确答案相关联，巴特尔告诉《新科学家》。

尽管如此，它仍然表明这些系统的过程是多么奇怪，以及我们对它们如何工作知之甚少。

“从一开始就要记住的关键是，这些模型是黑匣子，”弗里克说。

“我们永远不会知道他们为什么要这样做，因为最终他们是权重和概率的混合体，最后，结果被吐出来，”她说。

对于那些学习使用聊天机器人模型来优化工作的人来说，这些信息不会丢失。整个研究领域，甚至课程，正在出现，以了解如何让他们发挥最佳表现，尽管目前还不清楚。

“在我看来，没有人应该再次尝试手写提示，”巴特尔告诉《新科学家》。

“让模特为你做，”他说。

本文最初发表于商业内幕.

宝宝起名 起名