ChatGPT大模型系统实战：AI大模型从何而来？能做什么？

大模型技术从何而来？

在过去的二十多年里，随着AI系统的发展，模型一直在不断增大，所以“大模型”实际上是一个相对的概念。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59314.html

刚刚提到的基础模型不是凭空出现的，故事还要从AI模型为什么热衷于追求“大”开始说起。在搜索、广告和推荐等内容分发领域兴起后，我们开始能够收集到 大规模的有监督反馈数据，例如点击、点赞和购买等行为数据。市场也渐渐察觉，投入在人工智能技术上的投资，可以在商业上获得巨大的回报。因此，为了更好地记忆和监督海量数据中的信息，模型的参数规模开始急剧增长，模型变得越来越大。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59314.html

随后，随着DeepMind AlphaGo的走红，AI领域进入了全面爆发的阶段。重要的AI应用，如AlphaZero和无人驾驶，能够以较低成本自动生成训练数据，训练数据的规模也发生了质的飞跃。在更大规模的训练数据基础上，以计算能力和存储成本的降低为有利条件，模型的参数规模再次急剧增加，模型变得更大了。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59314.html

目前，以OpenAI GPT 3.0为里程碑的AI大模型正在使用全网的数据进行无监督训练，我们进入了一切皆为训练数据的时代。这使得模型可以获得 几乎无限的训练数据。为了对如此规模的数据进行建模，模型参数的规模越大越好，因此模型变得越来越大了。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59314.html

你可能已经注意到了，大模型的“大”是一个相对概念，是一个持续的过程。更大规模的训练数据需要模型具备更强的记忆、理解和表达能力。而为了拥有更强的记忆、理解和表达能力，模型则需要更大的参数量，也就是更大的模型。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59314.html

我来做个“中译中”你会更好理解：你可以把模型当成一个，在学习新知识方面如饥似渴的孩子，随着年龄的增长，他的大脑在不断发育，脑容量变得越来越大，为了让他的智力不断成长，你需要为他提供更好的老师，供养更多更复杂的知识资料。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59314.html

所以模型为什么越来越“大”就很容易理解了： 内因是身体的发育，也就是存储和算力的发展。外因是人类在知识量和共享度上的发展，互联网技术使得人类个体公开可查的学习资料，在本世纪内快速膨胀。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59314.html

大模型技术因何而火？

不过生成式AI大模型的兴起不仅仅是由于模型规模变大，而是多个因素相互作用形成的。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59314.html

首先，在近年的技术发展中，大型语言模型，特别是以GPT 3.0为代表的大模型，展现出了出色的 涌现、思维链和上下文学习的能力，不再停留在“人工智障”的阶段，极大地提升了自然语言理解和生成的能力，然而，这只是其中的一个必要条件。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59314.html

第二个必要条件是 跨模态建模能力的发展。 这让同一个模型能像人类一样同时理解和处理Excel、PPT、PDF、图像和视频等多种形式的数据。加持了这样的能力，算法生成的信息量从此发生质变，生成式人工智能发挥作用的舞台就更多了。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59314.html

第三个必要条件是 生成式模型的交互方式。生成式AI产品巧妙地利用了人类的惰性，通过新的交互方式，大大提高了产品的渗透率。这使得人们不断地使用ChatGPT，并逐渐产生了依赖。这也成为了当前AI大模型产业，迅速发展的关键点。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59314.html

然而，所有这些前提条件的实现，都依赖于 存储和计算能力的持续发展，“孩子”身体的发育，使模型能够容纳和记忆更大规模的数据。不过，以上只是生成式AI大模型兴起的一些必要条件，但其全面走红还涉及到资本和产业发展的需求等多个因素的综合效果。通过后续的学习，你会对“AI大模型是什么”这个问题有更深入的理解。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59314.html

AI大模型能做什么？

由于大语言模型在训练数据上的多样性和数量的保证，以及大规模参数所造成的涌现和思维链能力，让它可以很好地应对如语言翻译、创意策划、文章创作和代码编写这类任务。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59314.html

前面说了大模型好的方面，但是大模型技术本身也存在一些局限。比如训练数据存在时效性的问题，比方说GPT3.5只使用了2021年9月之前的数据进行训练（又如最新的GPT-4 Turbo 使用了 2023年4月之前的训练数据），无法评判那之后的事实，同时大模型在因果推断方面也存在一些问题。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59314.html

大模型还会 出现“幻觉”，会一本正经地给你讲“林黛玉倒拔垂杨柳”的故事，当然这些既是问题，也是我们AI大模型架构的发展机遇。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59314.html

至于前面说的种种局限，工业级的大模型系统是如何优雅应对的呢？这里我先卖个关子，等到后面实战架构篇我们再详细讨论。但你现在不妨先假想一下： 如果你是ChatGPT的架构师，你会如何设计基于大模型技术的架构呢？文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59314.html

其实一个优秀的架构师和顶级的厨师一样，在获得一个食材之后，要尽可能保留它最大的价值和优点，并最小化甚至消除它的缺点所带来的影响。对于ChatGPT的“厨师”来说，AI大模型是一个优秀的食材，它本身具备很强的理解、摘要总结和多轮对话的能力，但是，正如前面提到的，它在数据时效性，输入长度限制和内容可信性方面的缺点也很明显。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59314.html

那么我们应该如何处置这道食材呢？我们已经看到OpenAI架构师给出的方式，ChatGPT开放了联网和插件接口功能，已有的互联网应用可以通过OpenAI的API，将自己的应用放入ChatGPT的应用中心，这是平台产品的一个最鲜明的特征。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59314.html

推荐全套完整AI大模型训练及ChatGPT相关学习教程资料，AI大模型系统训练开发实战文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59314.html

利用大模型平台先天具备的优异语言能力、意图识别能力和指令翻译能力，将互联网领域的各个能力接入其中，由AI大模型作为大脑，帮助各个应用互相对话，产生化学反应，这就是GPT架构师提供的“答题思路”。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59314.html

可以看出，这个平台和之前我们熟悉的平台都不一样。你不是多了一个小助手，而是接近“全能”的专业大管家。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59314.html

• 作为助理，他能帮你提前安排日程，完成差旅机票酒店的预定，或者根据会议相关的资料和人数帮你预定会议室，提前发放会议议程。
• 作为秘书：他能根据你的个人习惯，每天查询你关注领域的最新消息，为你整理专属版“参考消息”。或者每个周末整理你一周交给他的工作任务，为你生成工作周报。
• 作为“伴侣”，他甚至可以接入语音合成和语音识别的插件，以及数字人的插件，像一个真正的朋友一样和你进行视频对话。

这个能力将使ChatGPT成为当之无愧的 新一代生态平台。毫无疑问大模型系统平台将成为强大的生产工具，擅长使用大模型平台的用户将极大地提升个人生产效率，和其他人拉开差距。用户和开发者的全部数据会汇集于此，形成强大的马太效应。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59314.html

因此，国内互联网公司也在加紧构建属于自己的AI大模型系统平台和相应的应用生态。我们身处其中，也要做好长期投入的准备，一起迎接下一轮行业洗牌时刻的到来，大潮过后方知谁是英雄。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59314.html