LLM的Ai味何来？

Tue, 29 Sep 2026 00:00:00 +0800

避免 LLM 的 AI 味

我觉得很多事情都是表面上看起来，他这样可以做，那如果这样做，那他肯定可以走通的。正所谓不知者无畏。

然后觉得这个事其实是一个很简单的事情。但这只是宏观上粗浅地看到这个问题，它真正真的简单吗？这要打一个大大的问号。

举一个例子，接 LLMAPI，然后自己搭建一个问答助手。首先这个模型它学到了很多知识，你问它什么，它也会答给你，所以作为问答助手是没问题的。

但是实际使用过程中，并不是按照预期情况来的。最常见的就是所谓豆包式的回答方法，我将不拐弯抹角、一针见血、直截了当地回复你。

也不是说它说得不对，只是这样说话极其不利于信息的直接传递。

在我们日常交流中，我们通常是这样子的：当我们询问一个问题时，往往希望对方直接给出答案，而不是在开场时先来一堆“找补”和“铺垫”。

但 LLM 却截然相反——它极度喜欢把话说得“万无一失”。这种情况往往出现在某些模型上，代表性就是GPT 5 系列。

在我看来，他也就是说在防御性的叙事，也就是说他说这么多，你挑不出来什么刺，但是就是让你感觉很不舒服，就是一股 AI 味。

那到底为什么导致他这样子呢？

举个例子。

假设你向模型定义或询问一个稍显新奇的概念——比如你提出一个更高级的概念 A，它是由大家熟知的旧概念 B 引申而来的。也就是说，在B的概念上包装出一个A。

如果是人类正常交流的话，通常会直接借助旧概念建立认知：“A 其实就是 B 的升级版，多了某某功能。”

因为我们默认听众具备基本的背景知识。

但 LLM 通常会怎么说？它会机械地输出一段极其严谨却毫无重点的文字：

“A 是一种具有 X 特征、具备 Y 功能的独立系统。虽然它与 B 在某些方面存在联系，但二者在定义、适用范围和运行机制上并不相同……”

这种表达方式看似极其准确描述了 A，并且“防御性”地澄清了“此 A 非 B”，完美避免了误会。但它的根本问题在于： 模型的表达太过于“面面俱到”了。它默认假定电脑前的人是个一无所知的门外汉，为了防止被挑出毛病，它选择了最保守的表述。

但是模型也是通过人类的语料来训练的，而人类对话通常就不这样说，所以它很有可能是在后训练的过程中学到这种特别的癖好。

从 LLM 为什么能这样对话讲起，首先模型要经过预训练，学习大量的语料，掌握知识，然后要经过后训练，也就是让它说人话。后训练出来之后，就会提供给用户，然后此时用户就会通过提词来引导它来进行生成，然后这个就是推理采样的过程。

首先，什么是预训练?

在预训练阶段，LLM 的本质只是一个极其庞大的“接话游戏”。

给它前半句话，它根据概率分布去填下一个词。

例如输入“法国的首都是”，它输出的概率分布里“巴黎”极高，“柏林”或“伦敦”极低。

预训练决定了模型“知道多少知识”。

但纯粹的预训练模型是无法直接当“助手”用的。

如果你问它：“How are you?”，预训练模型可能会顺着这个开头，直接帮你续写出一篇包含对话的英语课文，因为它根本不知道“自己现在是一个正在回答问题的助手”，它只知道在它的训练语料中，How are you 开头要接什么？可能接一篇文章，可能接一段对话的开始。

为了让它变得可用，就需要后训练。现在模型的效果突飞猛进，主要就是由于后训练的强大。

后训练的本质，就是强行改变预训练得到的概率分布，让模型的回答更偏向人类的喜好。

面对用户的提问，预训练模型可能会产生多种输出方向：直接回答、拒绝回答、胡言乱语或给出一个错误答案。