大模型

引言

• 来测测看，你能不能看懂下面的这段话：
• 大模型以Token为最小单位，在上下文窗口的容量内完成推理，靠KV缓存提升效率；通过提示词工程、RAG、微调三种方式增强能力，沉淀为专家模型与Skill技能包；再通过工具调用连接外部系统，最终形成能自主完成任务的智能体，同时我们必须正视幻觉这一天生边界。
• 如果你能看明白上面的这段话，那你可以直接关闭该博客了，但如果你有些一知半解，不妨静下心一起看看下面的内容

底层原理层

• 该层的概念是所有AI能力的基石，决定了大模型“怎么读文字、怎么算内容、能记多少事”。理解这一层，就能看懂大模型的性能边界与成本逻辑。

Token（词元）

• Token是大模型理解、生成文本的最小单位，也是算力消耗与计费的基础标尺。
• 它不等同于汉字或单词：模型会按照分词规则，将文本拆解为标准化片段——可能是一个完整汉字、半个词语、一个英文单词，也可能是标点、数字或符号。
• 举个例子：“我喜欢吃苹果”就可能被切成：“我/喜欢/吃/苹果”4个Token；“I love apples”就可能被切成：“I/love/apples”3个Token；“unbelievable”就可能被切成：“un/believe/able”3个Token
• 通用换算：中文约2个汉字≈3个Token；英文约1个单词≈1个Token
• 核心意义：所有模型的收费、算力开销、记忆上限，全部以Token为基准。简单说，人看“字数”，大模型看“Token数”。

上下文窗口（Context Window）

• 上下文窗口指单轮交互中，大模型能同时读取、记忆的最大Token总量，决定了AI一次能“看懂”多少信息，即大模型的“短期记忆容量”。
• 比如8K、32K、128K上下文，对应的就是模型单次能处理的Token上限。超出窗口阈值，模型就会遗忘前文内容，出现答非所问、逻辑断裂。
• 业务意义：处理长文档、长对话、全量报表分析，都需要足够大的上下文窗口；但窗口越大，推理成本越高、速度越慢。

KV缓存与缓存命中

• 大模型每生成一个字，都需要基于前文计算语义特征。如果没有缓存，哪怕前文完全不变，每一次回答都要从头重复计算，造成海量算力浪费。
• KV缓存就是把前文的语义特征（Key-Value键值对）提前存好，当新请求的前缀内容与缓存完全一致时，直接复用已有计算结果，跳过重复算力消耗，这就是「缓存命中」。
• 典型场景：固定系统提示词、标准化业务问答、多人重复提问相同问题，缓存命中后响应速度可提升数倍，成本大幅下降。
• 注意：前缀文本只要有一个字符变动，缓存就会失效，需要重新计算。

训练与推理

• 这是两个完全不同的阶段，成本与门槛天差地别：
• 训练（Training）：模型从海量数据中学习规律、形成能力的过程，需要超大算力、海量数据，成本极高，通常只有大厂才会做基础模型训练。
• 推理（Inference）：模型训练完成后，接收用户输入、生成回答的“工作过程”。我们日常用AI对话、生成内容，都属于推理阶段，成本远低于训练。

能力增强层

• 通用大模型知识广但不够精，落地到具体行业、具体任务时，需要通过不同方式增强能力。这一层是企业AI落地最核心的手段，从轻量到重度，对应不同的成本与效果。

提示词工程（Prompt Engineering）

• 通过优化输入指令的结构、措辞、示例，引导大模型输出更精准的结果，不需要改动模型本身，是最轻量、成本最低的能力增强方式。
• 核心逻辑：大模型是“概率预测机器”，清晰的指令、明确的格式要求、少量示例，能大幅提升输出准确率。
• 适用场景：规范输出格式、提升回答专业度、约束回答边界，适合绝大多数日常业务场景。

RAG（检索增强生成

• RAG的全称是Retrieval-Augmented Generation，核心思路是：回答问题前，先从企业私有知识库中检索相关内容，再把问题+检索结果一起交给大模型，让模型基于真实资料生成答案。
• 核心价值：解决大模型“知识过时、胡说八道、没有内部数据”的问题，不需要微调模型，就能让AI掌握企业内部文档、业务规则、最新政策。
• 适用场景：内部知识库问答、合规答疑、财报数据提取，是金融、政务场景最常用的落地方案。

微调（Fine-tuning）

• 在已有基础模型上，用少量专属数据继续训练，让模型学习特定的话术风格、输出格式、业务逻辑，相当于给模型“定向培训”。
• 和RAG的区别：RAG是“外挂知识”，模型本身没变；微调是“改变模型本身”，让它形成固定的回答习惯。
• 适用场景：固定客服话术、标准化文案生成、特定格式输出，适合高频、标准化的重复任务。

专家模型（Expert）

• 聚焦单一细分领域、深度训练优化的模型，相当于行业里的专职专家。它放弃了部分通用能力，换取垂直场景下更高的准确率、更强的专业度。
• 通俗对比：通用大模型是“全能杂家”，什么都懂一点但不够深；专家模型是“专科医生”，只深耕一个领域，专业度、合规性远超通用模型。
• 常见类型：代码专家模型、金融风控模型、医疗问诊模型、法律文书模型。

Skill（技能）

• Skill是封装好的、可复用的场景化完整能力包，不是单一工具，而是「任务规则+执行步骤+校验逻辑+输出标准」的整套SOP。
• 和工具的区别：工具是单一功能（比如计算器、搜索），没有逻辑；Skill是完整的任务流程，能自动组合工具、判断异常、输出规范结果。
• 举例：“银行财报核验技能”会自动读取表格、计算指标、核对阈值、生成异常清单，全程不需要人工分步指令。

落地应用层

• 当能力叠加到一定程度，大模型就从“问答工具”变成了“执行者”。这一层讲AI的高阶应用形态，以及必须认清的核心边界。

工具调用（Function Calling）

• 大模型本身只能生成文字，工具调用让它可以主动调用外部能力：查询数据库、调用API、执行代码、发送消息、控制设备。
• 核心意义：打破大模型“只能说、不能做”的边界，让AI从“生成答案”变成“执行操作”。
• 典型场景：自动查询客户余额、自动生成报表并发送邮件、自动调用系统下单。

智能体（Agent）

• 智能体是具备「感知-规划-执行-复盘」完整闭环的AI主体，它整合了大模型、工具调用、Skill、记忆等所有能力，能自主完成复杂目标。
• 和普通对话AI的核心区别：普通AI是“你问一句，它答一句”；智能体是“你给一个目标，它自己拆分任务、调用工具、修正错误，直到把事做完”。
• 核心能力：自主规划任务、链式调用工具、自我纠错迭代、长期记忆延续。

多模态大模型（Multimodal LLM）

• “模态”就是信息的形式。多模态大模型可以同时理解和生成文字、图片、音频、视频等多种形式的信息，不再局限于文本交互。
• 常见能力：看图识别内容、生成图片、语音对话、理解视频内容、解析图表数据。
• 业务价值：发票识别、图纸审核、视频内容分析、语音客服，大幅拓展AI的适用场景。

幻觉（Hallucination）

• 幻觉指大模型会生成看似合理、但完全不符合事实的内容，比如编造数据、虚构法条、捏造事件，而且输出得非常自信。
• 产生原因：大模型的本质是“概率预测下一个字”，不是“检索事实”，遇到知识盲区时会强行补全通顺的文本。
• 应对方式：通过RAG挂载真实知识库、约束模型引用来源、增加事实校验环节，大幅降低幻觉概率，但无法完全消除。