目前，微调定制化LLM会耗费工程师的大量时间和精力，而选择合适的微调方法以及掌握相关技巧可以做到事半功倍。 此前，在《微调语言大模型选LoRA还是全参数？基于LLaMA 2深度分析》中，文中对比了全参...
LoRA（低秩自适应）微调语言大模型的实用技巧
阅读全文
快速理解 ChatGPT 背后的大模型技术
在过去的十年中，人工智能领域取得了重大突破，其中自然语言处理（NLP）是其重要子领域之一。NLP使用的模型之一是大型语言模型（LLMs）。LLMs被设计用于处理大量文本数据，采用先进的神经网络架构，学...
微调语言大模型选LoRA还是全参数？基于LLaMA 2深度分析
本文对比了全参数微调和LoRA，并分析了这两种技术各自的优势和劣势。作者使用了三个真实用例来训练LLaMA 2模型，这提供了比较特定任务的性能、硬件要求和训练成本的基准。本文证明了使用LoRA需要在s...
8款国内AI大模型产品，可合法使用无需翻墙
百度文心一言宣布，将率先开放给大家使用。大家都可以在应用商店下载"文心一言App"或登录"文心一言官网"体验。 根据8月15日正式实施的《生成式人工智能服务管理暂行办法》，提供具有舆论属性或者社会动员...
从零入门开发推荐系统：chatGPT、大模型介绍
作者 | gongyouliu编辑 | gongyouliu 自2022年11月30日OpenAI发布chatGPT以来，大模型技术掀起了新一轮人工智能浪潮。chatGPT在各个领域（包括...
走近大模型：ChatGPT是如何构造和清洗数据的？
数据是基础是现在LLM从业人的共识，尤其是高质量的数据。根据ChatGPT不同阶段的训练过程，数据也分为预训练数据（GPT）和指定微调数据（SFT，RLHF），前者用自回归的方式在尽可能多的数据上以自...
语言大模型工作原理：内部究竟是如何工作的？
语言大模型内部究竟是如何工作的？本文用最少的数学知识和术语进行解释。本文作者Tim Lee曾任职科技媒体Ars Technica，他近期推出了一份Newsletter《Understanding AI...
大模型颠覆搜索：谷歌宣布开放生成式搜索平台AI
搜索引擎，可能真的要变天了！ Google 终于要迎来它 25 年来最大的改变，谷歌宣布了开始内测开放【生成式搜索平台（Search Generative Experience，SGE）】，并逐步舍弃...
State of GPT：OpenAI官方第一次分享大模型内部原理和RLHF训练细节
来源 | web3天空之城 OpenAI的创始成员，前特斯拉高级 AI 总监 Andrej Karpthy 刚在微软 Build 2023 开发者大会上做了专题演讲：State of GPT（GPT ...
GPT-2到GPT-4的演进探索，大语言模型创意能力到底几何？
本文探讨了GPT-2到GPT-4的创造性，并分析了这些模型在不同创造性测试中的表现。作者使用了三种测试来衡量模型的创造性：Remote Associates Test、Alternate Uses T...
Mu-scaling：大模型科研新范式，无需训练即可预知表现
智源研究院认知与数据团队提出了Mu-scaling：一种基于最大更新参数化(Maximal Update Parametrization, MUP)的损失预测方法。该方法通过MUP放缩规则，生成一组宽...
大模型算法演进：结构及SOTA算法
分布式训练系统包括多个组成部分，如AI集群架构、通信机制、并行技术等。基于这些内容，我们可以设计出不同的大模型算法。下面我们简单讲述下大模型的发展脉络，大模型的结构以及SOTA大模型算法。 大模型发展...
什么是Transformer？大语言模型技术原理
人们的工作和生活已经离不开数据访问，而几乎所有平台背后的数据存储和查询都离不开数库。SQL作为一种数据库的查询和处理语言历史悠久，最早由IBM于上世纪70年代初研究关系数据模型时提出，后续发展为一种广...
QQ AI绘画大模型技术揭秘——QQGC
2022年来，AIGC概念迅速出圈并快速形成产业生态，成为继PGC、UGC之后新的数字内容创作形式。QQ影像中心提出了自研的AI画画技术方案——QQGC，本文作者富宸、王锐将介绍在QQGC基础大模型训...
AI绘画产品背后有哪些算法模型、技术原理是什么？
2022年9月一幅名为《太空歌剧院》的画作在数字艺术类别比赛中一举夺冠，这个震惊四座的画作由游戏设计师Jason Allen使用Midjourney完成，AI绘画进入人们的视野。 人们第一次意识到AI...
腾讯研究院：ChatGPT背后核心技术？大模型能实现通用人工智能吗？
随着人工智能大模型、量子计算、类脑智能、云原生、数字引擎、音视频等技术的深入发展，新技术、新模式和新业态持续涌现。针对上述领域，我们策划了一个科普系列栏目《T-chat前沿热点问答》，以十问十答的形式...
迈向 ChatGPT 时代 – 基于大模型的生产力工具
聊聊当前能用到的一些基于大模型的生产力工具，已经逐渐在我的日常工作学习中起到了越来越大的提效作用。如果你也是 AI 产品的相关从业者，那么在使用这些工具的过程中，也可以同时去感受和思考它的设计，提效程...
如何形象化地理解“AI、大模型、GPT”？
自从ChatGPT横空出世以来，AI领域再次引起了广泛关注。 最近，有关AI的讨论络绎不绝，其中不可避免地涉及到一些诸如“样本、预训练、大模型”等概念和术语。 然而，要用浅显易懂的方式向非专业人士解释...