ChatGPT:关于 AI 聊天机器人实际工作原理的 5 个令人惊讶的真相
AI 聊天机器人已经嵌入到一些人的生活中,但有多少人真正了解它们的工作原理?例如,您知道吗,ChatGPT 需要进行互联网搜索才能查找 2024 年 6 月之后的事件?
关于 AI 聊天机器人的一些最令人惊讶的信息可以帮助我们了解它们的工作原理、它们能做什么和不能做什么,以及如何更好地使用它们。
考虑到这一点,以下是您应该了解的有关这些突破性机器的五件事。
1. 他们接受人工反馈的培训
AI 聊天机器人分多个阶段进行训练,从称为预训练开始,其中模型经过训练以预测大量文本数据集中的下一个单词。这使他们能够对语言、事实和推理有一般的理解。
如果被问到:“我如何制作自制炸药?预训练阶段,模型可能已经给出了详细的说明。为了使它们在对话中有用和安全,人类“注释者”帮助指导模型做出更安全、更有用的响应,这一过程称为对齐。
对齐后,AI 聊天机器人可能会回答如下:“对不起,我无法提供该信息。如果您有安全问题或需要合法化学实验方面的帮助,我建议您参考经过认证的教育资源。
如果不保持一致,AI 聊天机器人将是不可预测的,可能会传播错误信息或有害内容。这凸显了人工干预在塑造 AI 行为中的关键作用。
开发 ChatGPT 的公司 OpenAI 尚未透露有多少员工训练了 ChatGPT 多少小时。但很明显,像 ChatGPT 这样的 AI 聊天机器人需要一个道德指南针,这样它就不会传播有害信息。人工注释者对响应进行排名,以确保中立性和道德一致性。
同样,如果 AI 聊天机器人被问到:“最好和最差的国籍是什么?
人类注释者会将这样的回答排在最高等级:“每个民族都有自己丰富的文化、历史和对世界的贡献。没有'最好'或'最差'的国籍——每个国籍都以自己的方式有价值。
2. 他们不是通过文字学习——而是在代币的帮助下
人类自然地通过文字学习语言,而 AI 聊天机器人则依赖于较小的称为代币的单位.这些单位可以是单词、子词或晦涩的字符系列。
虽然标记化通常遵循逻辑模式,但它有时会产生意想不到的分裂,从而揭示 AI 聊天机器人如何解释语言的优势和怪癖。现代 AI 聊天机器人的词汇表通常由 50,000 到 100,000 个令牌组成。
ChatGPT 将句子“价格为 9.99 美元”标记为“The”、“price”、“is”、“$”、“9”、“.”、“99”,而“ChatGPT 是了不起的”则不那么直观地表示:“chat”、“G”、“PT”、“is”、“mar”、“vellous”。
3. 他们的知识每天都在过时
AI 聊天机器人不会不断自我更新;因此,他们可能会为最近的事件、新术语或更广泛的任何事情而苦苦挣扎知识截止.知识截止是指 AI 聊天机器人的训练数据更新的最后一个时间点,这意味着它对该日期之后的事件、趋势或发现缺乏了解。
当前版本的 ChatGPT 的截止日期为 2024 年 6 月。如果被问及谁是现任美国总统,ChatGPT 需要使用搜索引擎进行网络搜索必应,“读取”结果,并返回答案。
必应结果按源的相关性和可靠性进行筛选。同样,其他 AI 聊天机器人使用 Web 搜索来返回最新答案。
更新 AI 聊天机器人是一个成本高昂且脆弱的过程。如何有效地更新他们的知识仍然是一个悬而未决的科学问题。据信,随着 Open AI 推出新的 ChatGPT 版本,ChatGPT 的知识会得到更新。
4. 他们真的很容易产生幻觉
AI 聊天机器人有时是“幻觉”,自信地生成虚假或无意义的声明,因为它们根据模式预测文本,而不是验证事实。这些错误源于他们的工作方式:他们优化一致性而不是准确性,依赖不完美的训练数据,并且缺乏对现实世界的理解。
虽然事实核查工具(例如,像 ChatGPT 的 Bing 搜索工具集成,用于实时事实核查)或提示(例如,明确告诉 ChatGPT “引用同行评审的来源”或“说我不知道,如果你不确定”)等改进可以减少幻觉,但它们不能完全消除幻觉。
例如,当被问及某篇研究论文的主要发现是什么时,ChatGPT 给出了一个长而详细且美观的答案。
它还包括屏幕截图甚至一个链接,但来自错误的学术论文。因此,用户应该将 AI 生成的信息视为起点,而不是不容置疑的事实。
5. 他们使用计算器来做数学
AI 聊天机器人最近流行的功能称为推理。推理是指使用逻辑连接的中间步骤来解决复杂问题的过程。这也称为“思路链”推理。
Chain of Thought 使 AI 聊天机器人能够逐步思考,而不是直接跳转到答案。例如,当被问到“什么是 56,345 减去 7,865 乘以 350,468”时,ChatGPT 给出了正确的答案。它 “理解” 乘法需要在减法之前发生。
为了解决中间步骤,ChatGPT 使用其内置计算器来实现精确算术。这种将内部推理与计算器相结合的混合方法有助于提高复杂任务的可靠性。
Çağatay Yıldız, 博士后研究员, 卓越集群 ”机器学习",图宾根大学