LLM on Ray's Blog

LLM的Ai味何来？

Tue, 29 Sep 2026 00:00:00 +0800

避免 LLM 的 AI 味

我觉得很多事情都是表面上看起来，他这样可以做，那如果这样做，那他肯定可以走通的。正所谓不知者无畏。

然后觉得这个事其实是一个很简单的事情。但这只是宏观上粗浅地看到这个问题，它真正真的简单吗？这要打一个大大的问号。

举一个例子，接 LLMAPI，然后自己搭建一个问答助手。首先这个模型它学到了很多知识，你问它什么，它也会答给你，所以作为问答助手是没问题的。

但是实际使用过程中，并不是按照预期情况来的。最常见的就是所谓豆包式的回答方法，我将不拐弯抹角、一针见血、直截了当地回复你。

也不是说它说得不对，只是这样说话极其不利于信息的直接传递。

在我们日常交流中，我们通常是这样子的：当我们询问一个问题时，往往希望对方直接给出答案，而不是在开场时先来一堆“找补”和“铺垫”。

但 LLM 却截然相反——它极度喜欢把话说得“万无一失”。这种情况往往出现在某些模型上，代表性就是GPT 5 系列。

在我看来，他也就是说在防御性的叙事，也就是说他说这么多，你挑不出来什么刺，但是就是让你感觉很不舒服，就是一股 AI 味。

那到底为什么导致他这样子呢？

举个例子。

假设你向模型定义或询问一个稍显新奇的概念——比如你提出一个更高级的概念 A，它是由大家熟知的旧概念 B 引申而来的。也就是说，在B的概念上包装出一个A。

如果是人类正常交流的话，通常会直接借助旧概念建立认知：“A 其实就是 B 的升级版，多了某某功能。”

因为我们默认听众具备基本的背景知识。

但 LLM 通常会怎么说？它会机械地输出一段极其严谨却毫无重点的文字：

“A 是一种具有 X 特征、具备 Y 功能的独立系统。虽然它与 B 在某些方面存在联系，但二者在定义、适用范围和运行机制上并不相同……”

这种表达方式看似极其准确描述了 A，并且“防御性”地澄清了“此 A 非 B”，完美避免了误会。但它的根本问题在于： 模型的表达太过于“面面俱到”了。它默认假定电脑前的人是个一无所知的门外汉，为了防止被挑出毛病，它选择了最保守的表述。

但是模型也是通过人类的语料来训练的，而人类对话通常就不这样说，所以它很有可能是在后训练的过程中学到这种特别的癖好。

从 LLM 为什么能这样对话讲起，首先模型要经过预训练，学习大量的语料，掌握知识，然后要经过后训练，也就是让它说人话。后训练出来之后，就会提供给用户，然后此时用户就会通过提词来引导它来进行生成，然后这个就是推理采样的过程。

首先，什么是预训练?

在预训练阶段，LLM 的本质只是一个极其庞大的“接话游戏”。

给它前半句话，它根据概率分布去填下一个词。

例如输入“法国的首都是”，它输出的概率分布里“巴黎”极高，“柏林”或“伦敦”极低。

预训练决定了模型“知道多少知识”。

但纯粹的预训练模型是无法直接当“助手”用的。

如果你问它：“How are you?”，预训练模型可能会顺着这个开头，直接帮你续写出一篇包含对话的英语课文，因为它根本不知道“自己现在是一个正在回答问题的助手”，它只知道在它的训练语料中，How are you 开头要接什么？可能接一篇文章，可能接一段对话的开始。

为了让它变得可用，就需要后训练。现在模型的效果突飞猛进，主要就是由于后训练的强大。

后训练的本质，就是强行改变预训练得到的概率分布，让模型的回答更偏向人类的喜好。

面对用户的提问，预训练模型可能会产生多种输出方向：直接回答、拒绝回答、胡言乱语或给出一个错误答案。

RLHF: 基于人类偏好的强化学习

Sat, 15 Mar 2025 00:00:00 +0800

RLHF是"Reinforcement Learning from Human Feedback"的缩写，中文意思是"基于人类反馈的强化学习"。这是一种结合了强化学习和人类反馈的机器学习方法，旨在训练智能体（agent）在特定任务上表现得更好。以下是RLHF的一些关键特点：

强化学习：智能体通过与环境的交互来学习，不断调整策略以最大化累积奖励。它不需要显式的指导信号，而是通过试错来学习。
人类反馈：在RLHF中，人类提供反馈来指导智能体的学习过程。这些反馈可以是奖励信号、偏好比较或直接的策略建议。
结合两者：RLHF将强化学习与人类反馈相结合，以提高学习效率和性能。人类反馈可以纠正智能体的错误，提供更丰富的学习信号，帮助智能体更快地收敛到好的策略。
应用广泛：RLHF可以应用于各种任务，如游戏、机器人控制、自然语言处理等。通过人类反馈，智能体可以更好地理解和适应人类的偏好和需求。
可解释性和安全性：通过引入人类反馈，RLHF可以提高智能体行为的可解释性，减少潜在的不安全或不道德的行为。

总的来说，RLHF是一种有效的学习方法，通过结合强化学习和人类反馈，可以训练出更智能、更符合人类需求的智能体。这种方法在人工智能领域具有广泛的应用前景。

RLHF在大语言模型中的应用

RLHF最初在自然语言生成任务中得到了广泛应用，尤其是大语言模型（如GPT系列）的训练。它帮助解决了以下关键问题：

1. 对齐问题（Alignment）

问题：预训练的大语言模型虽然能够生成流畅的文本，但可能会产生有害、偏见或不符合人类价值观的内容。

解决方案：通过RLHF，可以使模型的行为与人类的价值观和偏好对齐。

2. 指令遵循

问题：模型很难理解并遵循复杂的人类指令。

解决方案：通过人类反馈训练模型，使其能够更好地理解和执行人类的指令。

3. 创造性和安全性平衡

问题：需要模型既有创造性，又不产生不当内容。

解决方案：通过精心设计的奖励函数，引导模型在创造性和安全性之间找到平衡。

RLHF的三个阶段

第一阶段：监督微调（SFT - Supervised Fine-Tuning）

在这个阶段，研究者会收集高质量的问答对数据，让模型学习如何回答问题。这些数据通常由人类专家编写，确保高质量和准确性。

步骤：

收集高质量的指令-回答数据
使用这些数据对预训练模型进行监督微调
得到一个能够理解和遵循指令的基础模型

第二阶段：奖励模型训练（Reward Model Training）

在这个阶段，研究者训练一个奖励模型，用于评估模型输出的质量。这个模型学会了人类的偏好和价值观。

步骤：

收集人类偏好数据（通常是比较数据）
训练一个奖励模型，能够给不同的输出打分
这个奖励模型将用于后续的强化学习训练

第三阶段：强化学习优化（PPO）

在这个阶段，模型使用PPO（Proximal Policy Optimization）算法进行训练，优化其输出以最大化从奖励模型得到的分数。

步骤：

使用PPO算法
让模型生成多个候选回答
使用奖励模型评估这些回答
根据奖励信号更新模型参数

RLHF的优缺点

优点

对齐效果显著：能够有效使模型行为与人类价值观对齐
提高安全性：显著减少了模型生成有害内容的概率
提升指令遵循能力：模型能够更好地理解和执行复杂指令
改善输出质量：整体上提高了模型输出的质量和有用性

缺点

成本高昂：需要大量人工标注和反馈数据
训练复杂：RLHF的训练过程复杂且不稳定
数据依赖性：性能很大程度上依赖于人类反馈数据的质量和多样性
潜在偏见：可能继承训练数据中的偏见

常见的RLHF实现

InstructGPT

InstructGPT是OpenAI基于GPT-3.5开发的模型，通过RLHF技术显著提高了模型的指令遵循能力。

ChatGPT

ChatGPT是OpenAI开发的大型语言模型，基于GPT-3.5/4.0，使用了RLHF技术来实现更好的对话能力和安全性。

Claude

Claude是Anthropic开发的AI助手，也使用了Constitutional AI和RLHF技术来实现安全性和有用性的平衡。

hugging face 抱抱脸

Thu, 28 Nov 2024 00:00:00 +0800

什么是hugging face？🤔

如何使用？🔧

hugging face模型下载

首先安装相关库
1pip install -U huggingface_hub

然后编写一个python文件，如下

 1# 设置环境变量
 2
 3import os
 4
 5os.environ["HF_ENDPOINT"] = "https://hf-mirror.com"
 6
 7from huggingface_hub import hf_hub_download
 8
 9# 举例
10repo_id = "Duffy/Llama-820m"
11
12file_list = [
13 ".gitattributes",
14 "README.md",
15 "config.json",
16 "generation_config.json",
17 "xxx.py",
18 "pytorch_model.bin",
19 "special_tokens_map.json",
20 "tokenizer.json",
21 "tokenizer_config.json",
22]
23
24local_dir = "./your_model_file_dir"
25
26for file_name in file_list:
27 hf_hub_download(repo_id=repo_id, filename=file_name, local_dir=local_dir)

Hugging Face Hub

Hugging Face Hub 是一个集成模型、数据集、和其他机器学习资源的平台，它使得分享和使用模型变得非常方便。Hub 提供了易于使用的 API、GitHub 风格的模型管理，并且是目前许多 NLP 和计算机视觉任务中最流行的模型资源。

LoRA微调

Mon, 11 Nov 2024 00:00:00 +0800

现在的大模型动辄几十、上百亿参数，如果我们想要对模型进行微调，放到本地一般而言很少有足够的显存。

大模型微调的几种方法：

低秩微调LoRA

LoRA（Low-Rank Adaptation）简介：高效的深度学习模型微调方法

在深度学习领域，尤其是大规模预训练模型（如BERT、GPT系列等）的微调过程中，传统的微调方法通常需要修改模型的所有参数。这样做虽然可以获得较好的性能，但代价非常高，特别是在面对非常大的预训练模型时。LoRA（Low-Rank Adaptation）作为一种新的微调技术，提出了一种更加高效且参数量更少的方法来进行微调。

什么是LoRA？

LoRA是“低秩适应”技术的缩写，其核心思想是在进行模型微调时，通过将权重矩阵分解为低秩矩阵来减少可调参数的数量。这使得我们在不改变原始模型结构的情况下，能够以更少的计算和存储开销，快速适应下游任务。

具体来说，LoRA通过在神经网络中的每一层加入一个低秩适应矩阵，这些矩阵只会在微调过程中进行更新，而原始的预训练参数保持不变。

LoRA的原理

在传统的神经网络中，参数矩阵通常是一个高维矩阵。例如，在一个线性层中，假设权重矩阵是，其中和分别是输入和输出的维度。

LoRA的关键想法是将这个高维矩阵分解为两个低秩矩阵和，即：

其中，是我们在微调过程中需要学习的低秩适应矩阵。通过这种方式，只有和两个矩阵需要更新，且它们的秩通常设置为较小的值（例如，秩为）。这样可以显著减少需要训练的参数数量，同时保留原始模型的表示能力。

为什么LoRA有效？

减少计算开销：由于LoRA只需要更新较小的低秩矩阵，避免了对整个模型参数的更新，因此计算资源消耗大大降低，尤其是在大规模预训练模型上。
适用于大模型：大规模预训练模型通常包含数亿甚至数十亿个参数，直接微调这些模型往往需要巨大的计算和存储资源。LoRA通过限制可调参数的数量，使得在有限资源下仍然能够有效地进行微调。
保持预训练知识：LoRA不会修改原始的预训练权重，只是引入了少量的适应性变化。因此，模型能够保留从大规模数据集学到的知识，同时针对具体任务进行微调。

LoRA的实现

假设我们有一个现成的神经网络模型（例如BERT或GPT），而我们想要进行LoRA微调。LoRA的实现步骤如下：

选择适合微调的层：首先，我们需要选择模型中哪些层需要进行LoRA微调。通常会选择自注意力层（Attention）和前馈神经网络（FeedForward）层。
插入低秩适应矩阵：在选定的层中，我们将原始权重矩阵替换为，其中和是低秩矩阵。
训练低秩矩阵：在微调过程中，我们只更新低秩矩阵和，而保持原始模型权重不变。
评估性能：在完成微调后，我们评估模型在下游任务上的性能，看看LoRA是否能够有效地提高模型在特定任务上的表现。

LoRA的优点

• 参数效率高：LoRA只需要更新少量参数，通常比传统微调方法的参数更新量要小得多，尤其是在大规模预训练模型中。

• 节省计算资源：LoRA的低秩适应矩阵可以显著减少训练和推理时的计算开销。

• 简洁易用：LoRA的实现相对简单，可以作为一个插件式的微调方法，适用于多种不同的神经网络架构。

LoRA的应用场景

LoRA非常适合用于以下几种场景：

大规模预训练模型微调：在处理诸如BERT、GPT等大型模型时，LoRA能够有效减少微调时的计算资源消耗。
低资源环境下的迁移学习：如果资源有限（例如显存不足），LoRA能够帮助在不牺牲性能的前提下进行迁移学习。
模型压缩：LoRA也可以用于模型压缩，尤其是在需要在嵌入式设备或移动设备上运行大模型时，LoRA可以通过减少训练参数的数量来降低模型的存储需求。

示例代码

以下是一个简单的Python示例，展示了如何在PyTorch中实现LoRA微调：

 1import torch
 2
 3import torch.nn as nn
 4
 5import torch.optim as optim
 6
 7 
 8
 9class LoRALayer(nn.Module):
10
11    def __init__(self, input_dim, output_dim, rank):
12
13        super(LoRALayer, self).__init__()
14
15        self.input_dim = input_dim
16
17        self.output_dim = output_dim
18
19        self.rank = rank
20
21 
22
23        # 初始化低秩矩阵 A 和 B
24
25        self.A = nn.Parameter(torch.randn(input_dim, rank))
26
27        self.B = nn.Parameter(torch.randn(rank, output_dim))
28
29 
30
31    def forward(self, x):
32
33        _# 计算低秩适应矩阵的贡献_
34
35        delta_W = torch.mm(self.A, self.B)
36
37        return torch.matmul(x, delta_W)
38
39 
40
41_# 模型层的使用示例_
42
43input_dim = 768  _# 输入维度_
44
45output_dim = 256  _# 输出维度_
46
47rank = 8  _# 低秩矩阵的秩_
48
49 
50
51_# 创建LoRA层_
52
53lora_layer = LoRALayer(input_dim, output_dim, rank)
54
55 
56
57# 假设输入是一个batch的样本_
58
59x = torch.randn(32, input_dim)  _# 假设batch size为32_
60# 前向传播_
61output = lora_layer(x)

总结