ChatGPT工作原理:语义语法和计算语言的力量

2023-05-2220:19:03人工智能与大数据Comments726 views字数 2823阅读模式

产生 “有意义的人类语言” 需要什么?在过去,我们可能会认为这不可能是一个人的大脑。但现在我们知道,ChatGPT 的神经网络可以很好地完成这一任务。不过,也许这已经是我们能走的最远的路了,没有什么比这更简单 —— 或者更容易被人类理解 —— 的东西会起作用。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41559.html

但我强烈怀疑的是,ChatGPT 的成功隐含地揭示了一个重要的 “科学” 事实:有意义的人类语言的结构和简单性实际上比我们所知道的要多得多,而且最终甚至可能有相当简单的规则来描述这种语言如何被组合起来。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41559.html

正如我们上面提到的,句法语法给出了人类语言中对应于不同语篇的词语如何组合的规则。但是为了处理意义,我们需要更进一步。而如何做到这一点的一个版本是,不仅要考虑语言的句法语法,还要考虑语义语法。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41559.html

为了语法的目的,我们确定名词和动词等事物。但为了语义学的目的,我们需要 “更精细的等级”。因此,例如,我们可以确定 “移动” 的概念,以及 “保持独立于位置的身份” 的 “物体” 的概念。这些 “语义概念” 中的每一个都有无尽的具体例子。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41559.html

但是,为了我们的语义语法的目的,我们将只是有某种一般性的规则,基本上说 “物体” 可以 “移动”。关于这一切如何运作,有很多东西可以说(其中一些我以前说过)。但我在这里只想说几句,指出一些潜在的发展道路。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41559.html

值得一提的是,即使一个句子根据语义语法是完全可以的,也不意味着它在实践中已经实现(甚至可以实现)。“大象去了月球” 无疑会 “通过” 我们的语义语法,但是它肯定没有在我们的实际世界中实现(至少还没有) —— 尽管对于一个虚构的世界来说,这绝对是公平的游戏。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41559.html

当我们开始谈论 “语义语法” 时,我们很快就会问:“它的下面是什么?” 它假设的是什么 “世界模型”?句法语法实际上只是关于从词语中构建语言的问题。但是,语义学语法必然涉及某种 “世界模型” —— 作为 “骨架” 的东西,由实际词语构成的语言可以在上面分层。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41559.html

直到最近,我们可能会想象,(人类)语言将是描述我们 “世界模型” 的唯一一般方式。早在几个世纪前,就已经开始有了对特定种类事物的形式化,特别是以数学为基础。但现在有一种更普遍的形式化方法:计算语言。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41559.html

是的,这是我四十多年来的一个大项目(现在体现在沃尔弗拉姆语言中):开发一个精确的符号表示,可以尽可能广泛地谈论世界上的事物,以及我们关心的抽象事物。因此,例如,我们有城市、分子、图像和神经网络的符号表示,而且我们有关于如何计算这些事物的内在知识。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41559.html

而且,经过几十年的工作,我们已经用这种方式覆盖了很多领域。但是在过去,我们并没有特别处理 “日常话语”。在 “我买了两磅苹果” 中,我们可以轻易地表示(并对其进行营养和其他计算)“两磅苹果”。但是我们(还没有)对 “我买了” 有一个符号表示。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41559.html

这一切都与语义语法的想法有关 —— 目标是为概念提供一个通用的符号 “构造套件”,这将为我们提供什么可以与什么结合的规则,从而为我们可能转化为人类语言的 “流程” 提供规则。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41559.html

但是,假设我们有了这种 “符号话语语言”。我们会用它做什么呢?我们可以开始做一些事情,比如生成 “本地有意义的文本”。但最终我们可能想要更多 “全局意义” 的结果 —— 这意味着 “计算” 更多关于世界上实际存在或发生的事情(或许是在某个一致的虚构世界)。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41559.html

现在在 Wolfram 语言中,我们有大量的关于许多种类的事物的内置计算知识。但对于一个完整的符号话语语言,我们必须建立关于世界上一般事物的额外 “计算”:如果一个物体从 A 地移动到 B 地,又从 B 地移动到 C 地,那么它就从 A 地移动到 C 地,等等。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41559.html

给定一个符号化的话语语言,我们可以用它来做 “独立的陈述”。但我们也可以用它来问关于世界的问题,“Wolfram|Alpha 风格”。或者我们可以用它来陈述我们 “想让它变成这样” 的事情,大概是用一些外部的执行机制。或者我们可以用它来做断言 —— 也许是关于真实的世界,也许是关于我们正在考虑的某个特定世界,不管是虚构的还是其他的。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41559.html

人类语言从根本上说是不精确的,这不仅仅是因为它没有 “拴” 在一个具体的计算实现上,而且它的意义基本上只是由其使用者之间的 “社会契约” 来定义。但是计算语言,就其性质而言,具有某种基本的精确性 —— 因为最终它所指定的东西总是可以 “毫不含糊地在计算机上执行”。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41559.html

人类语言通常可以摆脱某种模糊性。(当我们说 “行星” 时,它是否包括系外行星,等等。)但是在计算语言中,我们必须对我们所做的所有区分精确而清楚。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41559.html

在计算语言中,利用普通人类语言来编造名字往往很方便。但它们在计算语言中的含义必然是精确的,而且可能涵盖也可能不涵盖典型人类语言用法中的某些特定内涵。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41559.html

我们应该如何找出适合一般符号话语语言的基本 “本体”?嗯,这并不容易。这也许就是为什么自亚里士多德两千多年前的原始开始以来,在这些方面做得很少。但是,今天我们对如何以计算方式思考世界了解得如此之多,这确实有帮助(而且,从我们的物理学项目和 ragiad 的想法中得到 “基本形而上学” 也无伤大雅)。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41559.html

但是这一切在 ChatGPT 的背景下意味着什么?从它的训练来看,ChatGPT 已经有效地 “拼凑” 了一定数量的相当于语义语法的东西(相当令人印象深刻)。但是它的成功让我们有理由认为,以计算语言的形式构建更完整的东西将是可行的。而且,与我们迄今为止对 ChatGPT 内部的理解不同的是,我们可以期待将计算语言设计得让人类容易理解。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41559.html

当我们谈论语义语法的时候,我们可以将其与对偶逻辑相类比。起初,对偶逻辑本质上是用人类语言表达的语句规则的集合。但是(是的,两千年后)当形式逻辑被开发出来时,音节逻辑最初的基本构造现在可以用来建造巨大的 “形式塔”,包括例如现代数字电路的运作。而且,我们可以预期,更一般的语义语法也会如此。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41559.html

起初,它可能只是能够处理简单的模式,例如以文本形式表达。但是,一旦它的整个计算语言框架建立起来,我们可以预期它将能够被用来竖起 “广义语义逻辑” 的高塔,使我们能够以精确和正式的方式处理各种我们以前从未接触过的东西,而只是在 “底层” 通过人类语言,以其所有的模糊性。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41559.html

我们可以认为计算语言的构造 —— 以及语义语法 —— 代表了一种对事物的终极压缩。因为它允许我们谈论什么是可能的本质,而不需要,例如,处理存在于普通人类语言中的所有 “转折性的措辞”。我们可以把 ChatGPT 的巨大优势看作是有点类似的东西:因为它在某种意义上也已经 “钻研” 到可以 “把语言以一种有语义的方式组合在一起”,而不关心不同的可能的措辞。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41559.html

那么,如果我们把 ChatGPT 应用于底层计算语言,会发生什么呢?计算语言可以描述什么是可能的。但仍然可以添加的是对 “什么是流行的” 的感觉 —— 例如基于对网络上所有内容的阅读。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41559.html

但是,在下面,用计算语言操作意味着像 ChatGPT 这样的东西可以立即和基本地接触到相当于利用潜在的不可还原的计算的终极工具。这使得它成为一个不仅可以 “生成合理文本” 的系统,而且可以期望解决任何可以解决的问题,即这些文本是否真的对世界 —— 或者它应该谈论的东西做出了 “正确” 的陈述。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41559.html

  • 本站内容整理自互联网,仅提供信息存储空间服务,以方便学习之用。如对文章、图片、字体等版权有疑问,请在下方留言,管理员看到后,将第一时间进行处理。
  • 转载请务必保留本文链接:https://www.cainiaoxueyuan.com/ai/41559.html

Comment

匿名网友 填写信息

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen:

确定