ChatGPT工作原理:意义空间和语义运动法则

2023-05-2220:16:13人工智能与大数据Comments747 views字数 1200阅读模式

上面讨论过,在 ChatGPT 中,任何一段文本都有效地由一个数字阵列来表示,我们可以将其视为某种 “语言特征空间” 中的一个点的坐标。因此,当 ChatGPT 继续一个文本时,这相当于在语言特征空间中追踪一个轨迹。但现在我们可以问,是什么让这个轨迹对应于我们认为有意义的文本。也许会有某种 “语义运动法则” 来定义 —— 或者至少是约束 —— 语言特征空间中的点如何移动,同时保留 “有意义”?文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41550.html

那么,这个语言学特征空间是什么样子的呢?下面是一个例子,说明如果我们把这样一个特征空间投射到二维空间,单个词(这里是指普通名词)是如何布局的:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41550.html

ChatGPT工作原理:意义空间和语义运动法则文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41550.html

我们在上面看到的另一个例子是基于代表植物和动物的词。但这两种情况下的重点是,“语义相似的词” 被放在附近。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41550.html

作为另一个例子,这里是对应于不同语音部分的词是如何布置的:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41550.html

ChatGPT工作原理:意义空间和语义运动法则文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41550.html

当然,一个给定的词一般来说并不只有 “一个意思”(或一定只对应一个语篇)。通过观察包含一个词的句子在特征空间中的布局,我们通常可以 “区分” 出不同的含义 —— 就像这里的例子 “起重机”(crane, “鸟” 或 “机器”?):文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41550.html

ChatGPT工作原理:意义空间和语义运动法则文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41550.html

好的,所以我们至少可以认为这个特征空间是把 “意义相近的词” 放在这个空间里的,这是合理的。但是,在这个空间里,我们可以确定什么样的额外结构?例如,是否存在某种 “平行运输” 的概念,以反映空间中的 “平坦性”?掌握这个问题的一个方法是看一下类比:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41550.html

ChatGPT工作原理:意义空间和语义运动法则文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41550.html

而且,是的,即使当我们投射到二维时,往往至少有一个 “平坦性的暗示”,尽管它肯定不是普遍可见的。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41550.html

那么,轨迹呢?我们可以看看 ChatGPT 的提示在特征空间中的轨迹 —— 然后我们可以看看 ChatGPT 是如何延续这个轨迹的:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41550.html

ChatGPT工作原理:意义空间和语义运动法则文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41550.html

这里当然没有 “几何学上明显的” 运动规律。这一点也不令人惊讶;我们完全可以预料到这是一个相当复杂的故事。而且,举例来说,即使有一个 “语义上的运动定律” 可以找到,它最自然地以什么样的嵌入(或者,实际上,什么样的 “变量”)来表述,也远非明显。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41550.html

在上图中,我们展示了 “轨迹” 中的几个步骤 —— 在每个步骤中,我们挑选 ChatGPT 认为最可能的词(“零温度” 情况)。但我们也可以问,在某一点上,哪些词可以以什么概率 “接下来”:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41550.html

ChatGPT工作原理:意义空间和语义运动法则文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41550.html

在这种情况下,我们看到的是有一个高概率词的 “扇形”,似乎在特征空间中或多或少有一个明确的方向。如果我们再往前走会怎么样呢?下面是我们沿着轨迹 “移动” 时出现的连续的 “扇形”:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41550.html

ChatGPT工作原理:意义空间和语义运动法则文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41550.html

这是一个三维表示,总共走了 40 步:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41550.html

ChatGPT工作原理:意义空间和语义运动法则文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41550.html

而且,是的,这似乎是一团糟 —— 并没有做任何事情来特别鼓励这样的想法,即我们可以期望通过经验性地研究 “ChatGPT 在里面做什么” 来确定 “类似数学物理学的”“运动语义法则”。但也许我们只是看了 “错误的变量”(或错误的坐标系),只要我们看了正确的变量,我们就会立即看到 ChatGPT 正在做一些 “数学·物理学的简单” 的事情,比如遵循测地线。但是到目前为止,我们还没有准备好从它的 “内部行为” 中 “实证解码”ChatGPT“发现” 人类语言是如何 “拼凑” 的。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41550.html

  • 本站内容整理自互联网,仅提供信息存储空间服务,以方便学习之用。如对文章、图片、字体等版权有疑问,请在下方留言,管理员看到后,将第一时间进行处理。
  • 转载请务必保留本文链接:https://www.cainiaoxueyuan.com/ai/41550.html

Comment

匿名网友 填写信息

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen:

确定