上面讨论过，在 ChatGPT 中，任何一段文本都有效地由一个数字阵列来表示，我们可以将其视为某种 “语言特征空间” 中的一个点的坐标。因此，当 ChatGPT 继续一个文本时，这相当于在语言特征空间中追踪一个轨迹。但现在我们可以问，是什么让这个轨迹对应于我们认为有意义的文本。也许会有某种 “语义运动法则” 来定义 —— 或者至少是约束 —— 语言特征空间中的点如何移动，同时保留 “有意义”？文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41550.html
那么，这个语言学特征空间是什么样子的呢？下面是一个例子，说明如果我们把这样一个特征空间投射到二维空间，单个词（这里是指普通名词）是如何布局的：文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41550.html
文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41550.html
我们在上面看到的另一个例子是基于代表植物和动物的词。但这两种情况下的重点是，“语义相似的词” 被放在附近。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41550.html
作为另一个例子，这里是对应于不同语音部分的词是如何布置的：文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41550.html
文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41550.html
当然，一个给定的词一般来说并不只有 “一个意思”（或一定只对应一个语篇）。通过观察包含一个词的句子在特征空间中的布局，我们通常可以 “区分” 出不同的含义 —— 就像这里的例子 “起重机”（crane, “鸟” 或 “机器”？）：文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41550.html
文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41550.html
好的，所以我们至少可以认为这个特征空间是把 “意义相近的词” 放在这个空间里的，这是合理的。但是，在这个空间里，我们可以确定什么样的额外结构？例如，是否存在某种 “平行运输” 的概念，以反映空间中的 “平坦性”？掌握这个问题的一个方法是看一下类比：文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41550.html
文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41550.html
而且，是的，即使当我们投射到二维时，往往至少有一个 “平坦性的暗示”，尽管它肯定不是普遍可见的。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41550.html
那么，轨迹呢？我们可以看看 ChatGPT 的提示在特征空间中的轨迹 —— 然后我们可以看看 ChatGPT 是如何延续这个轨迹的：文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41550.html
文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41550.html
这里当然没有 “几何学上明显的” 运动规律。这一点也不令人惊讶；我们完全可以预料到这是一个相当复杂的故事。而且，举例来说，即使有一个 “语义上的运动定律” 可以找到，它最自然地以什么样的嵌入（或者，实际上，什么样的 “变量”）来表述，也远非明显。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41550.html
在上图中，我们展示了 “轨迹” 中的几个步骤 —— 在每个步骤中，我们挑选 ChatGPT 认为最可能的词（“零温度” 情况）。但我们也可以问，在某一点上，哪些词可以以什么概率 “接下来”：文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41550.html
文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41550.html
在这种情况下，我们看到的是有一个高概率词的 “扇形”，似乎在特征空间中或多或少有一个明确的方向。如果我们再往前走会怎么样呢？下面是我们沿着轨迹 “移动” 时出现的连续的 “扇形”：文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41550.html
文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41550.html
这是一个三维表示，总共走了 40 步：文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41550.html
文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41550.html
而且，是的，这似乎是一团糟 —— 并没有做任何事情来特别鼓励这样的想法，即我们可以期望通过经验性地研究 “ChatGPT 在里面做什么” 来确定 “类似数学物理学的”“运动语义法则”。但也许我们只是看了 “错误的变量”（或错误的坐标系），只要我们看了正确的变量，我们就会立即看到 ChatGPT 正在做一些 “数学·物理学的简单” 的事情，比如遵循测地线。但是到目前为止，我们还没有准备好从它的 “内部行为” 中 “实证解码”ChatGPT“发现” 人类语言是如何 “拼凑” 的。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41550.html