我们用于图像识别等任务的典型模型究竟是如何工作的呢？目前最流行、最成功的方法是使用神经网络。在 20 世纪 40 年代，神经网络的发明形式与今天的使用非常接近，它可以被认为是大脑似乎工作方式的简单理想化。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41492.html
在人类的大脑中，有大约 1000 亿个神经元（神经细胞），每个神经元都能产生电脉冲，每秒可能有一千次。这些神经元在一个复杂的网络中连接起来，每个神经元都有树状的分支，允许它将电信号传递给可能有成千上万的其他神经元。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41492.html
粗略估计，任何给定的神经元是否在某一时刻产生电脉冲，取决于它从其他神经元那里收到的脉冲 —— 不同的连接有不同的 “权重” 贡献。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41492.html
当我们 “看到一个图像” 时，所发生的事情是，当图像的光子落在眼睛后面的（“光感受器”）细胞上时，它们在神经细胞中产生电信号。这些神经细胞与其他神经细胞相连，最终信号通过一整层的神经元。而正是在这个过程中，我们 “识别” 了图像，最终 “形成了一个想法”，即我们 “看到了一个 2”（也许最后会做一些事情，如大声说 “2” 这个词）。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41492.html
上一节中的 “黑盒子” 函数是这样一个神经网络的 “数学化” 版本。它刚好有 11 层（虽然只有 4 个 “核心层”）。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41492.html
文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41492.html
这个神经网并没有什么特别的 “理论推导”；它只是在 1998 年作为一项工程而构建的东西，并且被发现是有效的。（当然，这与我们描述我们的大脑是通过生物进化过程产生的没有什么不同）。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41492.html
好吧，但是像这样的神经网络是如何 “识别事物” 的？关键在于吸引器的概念。想象一下，我们有 1 和 2 的手写图像：文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41492.html
文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41492.html
我们希望所有的 1 都 “被吸引到一个地方”，而所有的 2 都 “被吸引到另一个地方”。或者，换一种方式，如果一个图像在某种程度上 “更接近于 1”，而不是 2，我们希望它最终出现在 “1 的地方”，反之亦然。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41492.html
作为一个直接的类比，我们假设在平面上有某些位置，用点表示（在现实生活中，它们可能是咖啡店的位置）。那么我们可以想象，从平面上的任何一点开始，我们总是想在最近的点结束（即我们总是去最近的咖啡店）。我们可以通过将平面划分为由理想化的 “分水岭” 分隔的区域（“吸引盆地”）来表示这一点：文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41492.html
文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41492.html
我们可以认为这是在执行一种 “识别任务”，我们不是在做类似于识别给定图像 “看起来最像” 的数字的事情 —— 而是很直接地看到给定点最接近哪个点。（我们在这里展示的 “Voronoi 图” 设置是在二维欧几里得空间中分离点；数字识别任务可以被认为是在做非常类似的事情 —— 但却是在一个由每张图像中所有像素的灰度等级形成的 784 维空间中。）文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41492.html
那么，我们如何使一个神经网络 “完成一个识别任务”？让我们考虑这个非常简单的案例：文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41492.html
文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41492.html
我们的目标是获取一个对应于 {x,y} 位置的 “输入”，然后将其 “识别” 为它最接近的三个点中的任何一个。或者，换句话说，我们希望神经网络能够计算出一个类似于 {x,y} 的函数：文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41492.html
文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41492.html
那么，我们如何用神经网络做到这一点呢？归根结底，神经网是一个理想化的 “神经元” 的连接集合 —— 通常按层排列 —— 一个简单的例子是：文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41492.html
文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41492.html
每个 “神经元” 都被有效地设置为评估一个简单的数字函数。为了 “使用” 这个网络，我们只需在顶部输入数字（如我们的坐标 x 和 y），然后让每一层的神经元 “评估它们的功能”，并通过网络向前输入结果 —— 最终在底部产生最终的结果。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41492.html
文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41492.html
在传统的（受生物启发的）设置中，每个神经元实际上都有一组来自上一层神经元的 “传入连接”，每个连接都被赋予一定的 “权重”（可以是一个正数或负数）。一个给定的神经元的值是通过将 “前一个神经元” 的值乘以其相应的权重来确定的，然后将这些值相加并乘以一个常数，最后应用一个 “阈值”（或 “激活”）函数。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41492.html
在数学术语中，如果一个神经元有输入 x = {x1, x2 …… }，那么我们计算 f[w.x + b]，其中权重 w 和常数 b 通常为网络中的每个神经元选择不同；函数 f 通常是相同的。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41492.html
计算 w.x + b 只是一个矩阵乘法和加法的问题。激活函数 “f 引入了非线性（并最终导致了非线性行为）。通常使用各种激活函数；这里我们只使用 Ramp（或 ReLU）：文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41492.html
文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41492.html
对于我们希望神经网络执行的每一项任务（或者说，对于我们希望它评估的每一个整体函数），我们将有不同的权重选择。（正如我们稍后要讨论的那样，这些权重通常是通过使用机器学习从我们想要的输出实例中 “训练” 神经网络来确定的）。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41492.html
最终，每个神经网络都对应于一些整体的数学函数 —— 尽管它可能写得很乱。对于上面的例子，它就是：文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41492.html
文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41492.html
ChatGPT 的神经网络也只是对应于这样的一个数学函数 —— 但实际上有数十亿个术语。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41492.html
但让我们回到单个神经元上。下面是一个有两个输入（代表坐标 x 和 y）的神经元在选择不同的权重和常数（以及 Ramp 作为激活函数）后可以计算的函数的一些例子：文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41492.html
文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41492.html
但是，上面那个更大的网络是怎么回事？嗯，这是它的计算结果：文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41492.html
文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41492.html
这不是很 “正确”，但它接近于我们上面展示的 “最近点” 函数。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41492.html
让我们看看其他一些神经网络的情况。在每一种情况下，正如我们稍后所解释的，我们都在使用机器学习来寻找最佳的权重选择。然后，我们在这里展示带有这些权重的神经网络的计算结果：文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41492.html
文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41492.html
更大的网络通常能更好地逼近我们的目标函数。而在 “每个吸引子盆地的中间”，我们通常会得到我们想要的答案。但在边界 —— 神经网络 “很难下定决心” 的地方 —— 情况可能会更加混乱。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41492.html
在这个简单的数学风格的 “识别任务” 中，“正确答案” 是什么很清楚。但在识别手写数字的问题上，就不那么清楚了。如果有人把 “2” 写得很糟糕，看起来像 “7”，等等，怎么办？不过，我们还是可以问，神经网络是如何区分数字的 —— 这就给出了一个指示：文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41492.html
文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41492.html
我们能 “从数学上” 说说网络是如何区分的吗？并非如此。它只是在 “做神经网络所做的事” 而已。但事实证明，这通常似乎与我们人类所作的区分相当吻合。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41492.html
让我们举一个更复杂的例子。比方说，我们有猫和狗的图像。我们有一个神经网络，它被训练来区分它们。下面是它在一些例子中可能做的事情：文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41492.html
文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41492.html
现在，“正确答案” 是什么就更不清楚了。穿着猫衣的狗怎么办？等等。无论给它什么输入，神经网络都会产生一个答案。而且，事实证明，这样做的方式与人类可能做的事情是合理一致的。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41492.html
正如我在上面所说的，这不是一个我们可以 “从第一原理推导” 的事实。它只是根据经验被发现是真的，至少在某些领域是这样。但这是神经网络有用的一个关键原因：它们以某种方式捕捉了 “类似人类” 的做事方式。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41492.html
给自己看一张猫的照片，然后问 “为什么那是一只猫？”。也许你会开始说 “嗯，我看到它的尖耳朵，等等”。但要解释你是如何认出这张图片是一只猫的，并不是很容易。只是你的大脑不知怎么想出来的。但是对于大脑来说，没有办法（至少现在还没有）“进入” 它的内部，看看它是如何想出来的。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41492.html
那么对于一个（人工）神经网来说呢？好吧，当你展示一张猫的图片时，可以直接看到每个 “神经元” 的作用。但是，即使要获得一个基本的可视化，通常也是非常困难的。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41492.html
在我们用于解决上述 “最近点” 问题的最终网络中，有 17 个神经元。在用于识别手写数字的网络中，有 2190 个。而在我们用来识别猫和狗的网络中，有 60,650 个。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41492.html
通常情况下，要将相当于 60,650 个维度的空间可视化是相当困难的。但由于这是一个为处理图像而设置的网络，它的许多神经元层被组织成阵列，就像它所看的像素阵列一样。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41492.html
如果我们采取一个典型的猫图像：文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41492.html
文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41492.html
那么我们就可以用一组衍生图像来表示第一层神经元的状态 —— 其中许多图像我们可以很容易地解释为 “没有背景的猫” 或 “猫的轮廓” 等：文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41492.html
文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41492.html
到了第十层，就更难解释发生了什么：文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41492.html
文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41492.html
但总的来说，我们可以说神经网络正在 “挑选出某些特征”（也许尖尖的耳朵也在其中），并利用这些特征来确定图像是什么。但这些特征是我们有名字的，比如 “尖耳朵”？大多数情况下不是。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41492.html
我们的大脑在使用类似的特征吗？大多数情况下我们不知道。但值得注意的是，像我们在这里展示的神经网络的前几层似乎可以挑出图像的某些方面（如物体的边缘），这些方面似乎与我们知道的由大脑中第一层视觉处理挑出的特征相似。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41492.html
但是，假设我们想要一个神经网络的 “猫识别理论”。我们可以说 “看，这个特定的网络做到了” —— 这立即给了我们一些关于 “问题有多难” 的感觉（例如，可能需要多少个神经元或层）。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41492.html
但至少到现在为止，我们还没有办法对网络正在做的事情进行 “叙述性描述”。也许这是因为它在计算上确实是不可简化的，而且除了明确地追踪每一个步骤之外，没有一般的方法可以找到它在做什么。也可能只是因为我们还没有 “弄清科学”，还没有确定 “自然法则”，使我们能够总结出正在发生的事情。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/41492.html