外观
JD 知识点拆解
先记住这一页的一句话：JD 里每一个技能词背后都有一个"真实考点"——面试官真正想知道的，不是你会不会背定义，而是你能不能把一个知识点讲出"为什么"并连到工程后果。 本文把JD 清单里的高频要求拆成九个知识板块，每个板块给「必须掌握 → 面试怎么问 → 本站对应页」，末尾附自评表与补课清单模板。
使用方式
本页不是通读手册，而是差距检测器：先做末尾的自评表，把不会/半会不会的项标出来，再回到对应页面精读。直接从头读到尾，你会得到一份"什么都懂一点的假自信"。
一、JD 高频要求全景表
| 知识板块 | JD 里的常见写法 | 面试怎么问 | 本站对应页 | 优先级 |
|---|---|---|---|---|
| Transformer 与注意力 | "深入理解 Transformer 原理" | 注意力公式推导、为什么除以 √d_k、位置编码外推 | Transformer 架构详解 | ★★★ |
| 预训练与数据 | "熟悉预训练与数据管道" | 数据配比、规模法则、Chinchilla 结论 | 预训练、规模法则 | ★★★ |
| 微调（LoRA） | "熟练 SFT/LoRA 微调" | LoRA 原理、秩怎么选、显存对比 | 微调、微调实战 | ★★★ |
| 对齐（RLHF/DPO） | "了解对齐技术" | RLHF 三步、PPO 目标、DPO 与 RLHF 差异、对齐税 | 对齐 | ★★ |
| 评测 | "具备评测能力" | 基准有哪些、数据污染、LLM-as-a-judge 偏差 | 评测与基准、评估实战 | ★★★ |
| RAG | "熟悉 RAG 流程" | 三阶段、检索器对比、chunk 策略、RAG vs 微调 | RAG、RAG 实战 | ★★★ |
| Agent 与工具调用 | "有 Agent 经验" | ReAct 循环、function calling、记忆设计、提示注入 | 基于 LLM 的 Agent | ★★ |
| 推理优化 | "熟悉 KV cache 与量化" | KV cache 显存公式、量化原理、批处理、显存估算 | 推理基础、部署与服务化 | ★★★ |
| 工程能力 | "具备工程化能力" | 分布式训练、框架选型、系统设计 | 框架与工具选型 | ★★★ |
优先级说明：★★★ 为应用/算法类岗位普遍深挖，★★ 为"能讲原理 + 一个例子"即可。下面逐板块拆。
二、板块一：Transformer 与注意力（★★★★★）
为什么是最高频：无论岗位写什么，Transformer 都是底层协议。面试官用这个板块快速判断你是"背过博客"还是"真的理解"。
必须掌握：
- 缩放点积注意力的完整公式与 QKV 的计算流程；
- 为什么除以 √d_k（方差控制 → softmax 梯度问题）；
- 多头注意力的动机（不同子空间、特征互补）；
- 位置编码演进：绝对（sin/cos）→ 相对 → RoPE / ALiBi，以及外推问题；
- 残差连接与 LayerNorm（Pre-Norm vs Post-Norm）、FFN 与激活函数；
- Decoder-only 的因果掩码；自注意力 O(n²) 复杂度；
- KV cache 的概念（推理为何要缓存、缓存什么）。
面试怎么问：写/讲注意力公式；"为什么要缩放"；"RoPE 是怎么做的，外推不了怎么办"；"多头为什么有用"；"推理时 KV cache 存了什么"。
本站对应页：Transformer 架构详解 精读「自注意力」「多头」「位置编码」三节；推理基础 看 KV cache；上下文与长文本 看外推解法（YaRN/NTK）。
三、板块二：预训练与数据（★★★★）
为什么重要：训练岗必考；应用岗面试也常问"为什么基座会有这些能力/缺陷"，答案在数据与目标里。
必须掌握：
- 预训练目标 = 下一词预测（自回归），与 BERT 掩码语言建模的区别；
- 交叉熵与困惑度（perplexity）的关系；
- 数据全流程：采集 → 清洗 → 去重（MinHash）→ 过滤 → 配比；
- 数据配比（多语言/代码/数学/书籍）如何影响能力；
- 规模法则：Kaplan（损失随参数/数据/算力幂律下降）与 Chinchilla（计算最优约 1:20 参数:token）；
- 预训练 vs 微调 vs 对齐的分工。
面试怎么问："Chinchilla 结论是什么，为什么不直接套用"；"代码数据加多了会发生什么"；"数据去重为什么重要"；"损失不降怎么排查"。
本站对应页：语言建模（目标与困惑度）、预训练（数据全流程）、规模法则（配比与 Chinchilla）、数据集与基准档案。
四、板块三：微调（SFT 与 LoRA）（★★★★★）
为什么重要：应用岗的日常工作之一，也是简历项目最常写的方向。面试官会顺着你的项目深挖到原理。
必须掌握：
- SFT 是什么、数据长什么样（指令-回答对、对话树）、SFT 与预训练的区别；
- 全参微调 vs 参数高效微调（LoRA/QLoRA/Adapter/P-Tuning）对比；
- LoRA 原理：低秩分解 W = W₀ + BA，秩 r 与缩放 α 的作用，为什么参数高效；
- 可训练参数量估算（7B 模型 LoRA r=16 大概训多少参数）；
- 过拟合与灾难性遗忘；数据质量 > 数据量；
- SFT 之后还需要对齐吗。
面试怎么问："LoRA 为什么有效（直觉）"；"r 选大了会怎样"；"QLoRA 为什么能省显存"；"微调后变笨了怎么办"；"LoRA 能不能合并回原权重"。
本站对应页：微调 精读；微调实战：LoRA 全流程 看完整工程；评估实战 看微调效果怎么证明。
五、板块四：对齐（RLHF 与 DPO）（★★★）
为什么重要：训练岗必考；算法岗常作为深挖题（"你了解 RLHF 吗"）。2025 年面试重心从 RLHF 细节转向 DPO/RLHF 的取舍。
必须掌握：
- 对齐问题定义：helpful / honest / harmless；
- InstructGPT 三步：SFT → 奖励模型（RM）训练 → PPO 强化学习；
- PPO 目标里"重要性采样比率 + clip + KL 惩罚"各自的作用；
- DPO 为什么不需要显式 RM（隐式奖励、直接偏好优化）；
- DPO vs RLHF 对比（训练成本、稳定性、数据要求）；
- 对齐税（alignment tax）：对齐后基准分数下降的现象。
面试怎么问："RLHF 的奖励模型怎么训，数据哪来的"；"PPO 为什么要 clip"；"KL 惩罚是干什么的"；"DPO 和 RLHF 各自的坑"；"为什么对齐会让模型'变笨'"。
本站对应页：对齐：RLHF 与 DPO 精读；安全与风险 看对齐与安全的关系；论文版见经典论文精读（InstructGPT）。
六、板块五：评测（★★★★★）
为什么重要：大模型岗面试的"隐藏主考"——你报的任何效果都要能自证。评测能力是区分"会用"与"能落地"的分水岭。
必须掌握：
- 三类评测体系：内在指标（困惑度）、任务基准（MMLU/GSM8K/HumanEval）、人类与模型评判（MT-Bench、LLM-as-a-judge）；
- 常见基准各自测什么、有什么坑（多选题污染、pass@k、格式敏感）；
- 数据污染问题：基准进过预训练语料怎么办；
- LLM-as-a-judge 的实现与偏差（位置偏差、长度偏差、自我偏好）；
- 离线评测（回归测试、golden set）与线上评估（A/B、用户反馈）闭环。
面试怎么问："给一个模型打分，你会怎么做"；"MMLU 分数 90 分说明什么，可能有什么坑"；"怎么证明你的微调有效"；"LLM 当裁判有哪些偏差"。
本站对应页：评测与基准 精读；评估实战 看工程实现；基准档案见数据集与基准档案。
七、板块六：RAG（★★★★★）
为什么重要：应用岗项目里出现率最高的技术。面试会从"流程"问到"细节"，再问"为什么不用别的方案"。
必须掌握：
- RAG 动机：知识截止、幻觉、私有数据、可溯源；
- 三阶段流程：索引（解析/chunking/embedding）→ 检索（向量 + 稀疏 + 重排）→ 生成；
- chunk 大小与重叠的影响；混合检索（BM25 + 向量）与重排序；
- RAG vs 微调 vs 长上下文 的对比与组合；
- RAG 的失败模式（召回不足、检索噪声、忠实度）与评估指标；
- 幻觉的成因与缓解（幻觉）。
面试怎么问："完整讲一遍 RAG 流程"；"chunk 怎么切，为什么"；"检索质量怎么评估"；"什么时候该用 RAG，什么时候该微调"；"检索到的都是垃圾怎么办"。
本站对应页：RAG：检索增强生成 精读；RAG 实战 看端到端流程与失败模式表。
八、板块七：Agent 与工具调用（★★★★）
为什么重要：JD 增长最快的技能词。面试重点在"你能设计出稳定可用的 Agent，而不是 demo"。
必须掌握：
- Agent 架构：LLM 作控制器 + 工具 + 记忆 + 规划循环；
- ReAct 模式（Reason + Act 交错）为什么比纯 Chain-of-Thought 强；
- 工具调用（function calling）机制与 JSON schema 约束；
- 记忆设计：短期（上下文）与长期（向量库/结构化存储）；
- 多 Agent 协作与角色分工；
- 风险：提示注入（直接/间接）、工具滥用、成本失控。
面试怎么问："设计一个能查天气并订日程的 Agent"；"Agent 卡死/循环了怎么办"；"多工具时怎么选工具"；"提示注入怎么防"；"Agent 和普通工作流（写死的 if-else）怎么选"。
本站对应页：基于 LLM 的 Agent 精读；提示工程 看结构化输出；安全与风险 看注入防御。
九、板块八：推理优化（★★★★★）
为什么重要：训练岗与推理岗必考；应用岗面试也越来越问成本与延迟（"你的方案线上跑得动吗"）。
必须掌握：
- 自回归推理流程：prefill 与 decode 两阶段；
- KV cache：存什么、显存公式（约 2 × batch × layers × heads × head_dim × seq_len × 2 bytes）、随序列线性增长；
- 量化：INT8/INT4 原理、GPTQ/AWQ/GGUF 的区别、精度与速度权衡；
- continuous batching 与 PagedAttention 解决的问题；
- 显存估算：权重（FP16 下 2 字节/参数）+ KV cache + 激活 + 优化器状态（训练时 Adam 约 12 字节/参数）；
- 指标：TTFT / TPOT / 吞吐（tokens/s）、首 token 延迟与尾巴延迟。
面试怎么问："7B 模型 FP16 推理权重占多少显存"；"KV cache 怎么算大小"；"INT4 量化后质量掉多少"；"为什么需要 continuous batching"；"服务慢怎么排查"。
本站对应页：推理基础：自回归与采样 精读；部署与服务化 看显存公式、量化与指标；MoE 稀疏专家模型 看 MoE 部署挑战。
十、板块九：工程能力（★★★★）
为什么重要：JD 的"工程要求"板块，区分"实验室选手"与"能落地选手"。应用/训练岗都考。
必须掌握：
- Python 工程基本功（类型、日志、错误处理、测试）；
- 分布式训练术语：数据并行 / 张量并行 / 流水线并行 / ZeRO，各自解决的问题与通信开销；
- 框架分层选型：模型库（Transformers）、训练（DeepSpeed/Megatron-LM/TRL）、推理（vLLM/SGLang）、编排（LangChain/LlamaIndex）、向量库（FAISS/Milvus/pgvector）；
- 工程化三件套：评测自动化、可观测性（日志/指标/告警）、版本管理（模型与数据版本）；
- "别被框架绑架"：理解框架背后的原理，而不是只会调用。
面试怎么问："数据并行和模型并行什么区别，什么时候用哪个"；"ZeRO 的三个阶段分别省什么"；"你怎么选向量库"；"线上延迟升高，怎么定位"。
本站对应页：框架与工具选型 精读；部署与服务化 看服务化；常见陷阱与反模式 看工程反面教材。
十一、不同岗位的板块优先级矩阵
同样九个板块，不同岗位的权重完全不同。下表把「考点权重」标成 ★/★★/★★★（来自JD 清单关键词雷达的共性观察），是安排补课顺序的依据：
| 岗位 | Transformer | 预训练 | 微调 | 对齐 | 评测 | RAG | Agent | 推理优化 | 工程能力 |
|---|---|---|---|---|---|---|---|---|---|
| 算法工程师（大模型方向） | ★★★ | ★★ | ★★★ | ★★ | ★★★ | ★★★ | ★★ | ★★ | ★★★ |
| NLP 算法工程师 | ★★★ | ★ | ★★ | ★ | ★★★ | ★★ | ★ | ★ | ★★★ |
| 大模型训练工程师 | ★★★ | ★★★ | ★★★ | ★★★ | ★★ | ★ | ★ | ★★ | ★★★ |
| 推理优化工程师 | ★★★ | ★ | ★ | ★ | ★★ | ★ | ★ | ★★★ | ★★★ |
| AI 应用工程师 | ★★ | ★ | ★★★ | ★ | ★★★ | ★★★ | ★★ | ★★ | ★★★ |
| Agent 工程师 | ★★ | ★ | ★★ | ★ | ★★ | ★★ | ★★★ | ★★ | ★★★ |
| 评测工程师 | ★★ | ★ | ★★ | ★★ | ★★★ | ★★ | ★ | ★ | ★★★ |
| 数据工程师（LLM 方向） | ★ | ★★★ | ★ | ★ | ★★ | ★ | ★ | ★ | ★★★ |
怎么用这张矩阵：
- 先横着看你的目标岗位那一行：★★★ 对应的板块是面试必考，必须按"能讲原理+例子"准备；★★ 至少能讲定义与流程；★ 有项目带出即可，不必专门补；
- 再竖着看各岗位：你会发现「评测」和「工程能力」在几乎所有岗位都是 ★★★——它们是 2025 年大模型岗的公共底座，优先级永远最高；
- 用它重排补课清单：把第 13 节自评表的差距 × 权重，得到"先补什么"的明确顺序——权重 ★★★ 且自评 ≤2 的板块排第一梯队。
为什么"评测"几乎全岗位 ★★★
大模型能力的黑盒属性让"证明有效"成为所有岗位的共同刚需：算法岗要证明模型效果、应用岗要证明 RAG 方案收益、训练岗要证明新配比/新超参的价值、推理岗要证明量化没掉点。评测是跨岗位的通用硬通货，也是最容易靠一两个项目建立差异化的方向。
十二、高频考点速记卡（考前最后一遍）
面试前一天（或候场时）扫一遍这张卡。每一行都是一个考点的一句话版，答不出来就回对应页面补；原理出处见「出处」列。
| 考点 | 一句话版 | 出处 |
|---|---|---|
| 注意力公式 | softmax(QKᵀ/√d_k)V；除以 √d_k 是为了稳定 softmax 梯度 | Transformer |
| KV cache | 解码时缓存历史 token 的 K/V，避免前缀重算；显存随序列长度线性增长 | 推理基础 |
| 预训练目标 | 下一词预测（自回归）；困惑度 = exp(交叉熵) | 语言建模 |
| 规模法则 | 计算最优配比下 token ≈ 20 × 参数（Chinchilla） | 规模法则 |
| LoRA | W = W₀ + BA，低秩增量可合并回原权重；r 控制表达力、α 控制缩放 | 微调 |
| RLHF | SFT → 奖励模型（Bradley-Terry）→ PPO（clip + KL）；对齐税 = 对齐后基准分数下降 | 对齐 |
| DPO | 用策略与参考策略的 log 比做隐式奖励，免去 RM 训练与 RL 循环 | 对齐 |
| RAG | 索引（解析/chunk/embedding）→ 检索（混合+重排）→ 生成（带引用）；与微调互补而非替代 | RAG |
| Agent | LLM 作控制器 + 工具 + 记忆 + 规划循环；ReAct = 推理与行动交错；防注入靠系统边界而非提示词 | 基于 LLM 的 Agent |
| 推理优化 | 7B FP16 权重约 14GB；KV 显存 = 2×层×头×head_dim×序列×batch×字节；INT4 量化后必须评测回归 | 部署与服务化 |
速记卡的正确用法
卡里每一行的「出处」页面都要能现场展开讲 3 分钟。如果某一行的"为什么"讲不出，说明这块还没补完——回第 13 节自评表把它重新标记为"概念模糊"，进补课清单。
十三、自评表：五档自评
对每个板块按「完全不会 → 概念模糊 → 能讲定义 → 能讲原理+例子 → 有实战+可深挖」五档自评（0–4 分）：
| 板块 | 0 完全不会 | 1 概念模糊 | 2 能讲定义 | 3 能讲原理+例子 | 4 有实战可深挖 | 目标分 |
|---|---|---|---|---|---|---|
| Transformer 与注意力 | ☐ | ☐ | ☐ | ☐ | ☐ | 4 |
| 预训练与数据 | ☐ | ☐ | ☐ | ☐ | ☐ | 3（应用岗）/4（训练岗） |
| 微调（LoRA） | ☐ | ☐ | ☐ | ☐ | ☐ | 4 |
| 对齐（RLHF/DPO） | ☐ | ☐ | ☐ | ☐ | ☐ | 3 |
| 评测 | ☐ | ☐ | ☐ | ☐ | ☐ | 4 |
| RAG | ☐ | ☐ | ☐ | ☐ | ☐ | 4（应用岗） |
| Agent 与工具调用 | ☐ | ☐ | ☐ | ☐ | ☐ | 3 |
| 推理优化 | ☐ | ☐ | ☐ | ☐ | ☐ | 3 |
| 工程能力 | ☐ | ☐ | ☐ | ☐ | ☐ | 4 |
判断标准
「3 能讲原理+例子」指脱离笔记能讲 5 分钟、且能举一个自己做过的或读过的真实例子。做不到这一点，面试里就会变成"好像懂但讲不透"。
十四、生成个人补课清单的方法
第一步：标差距。把自评 ≤2 的板块记下来，这些是补课对象。
第二步：按岗位加权排序。对照JD 清单的关键词雷达：应用岗先补 RAG/评测/微调，训练岗先补预训练/分布式，推理岗先补量化/KV cache。
第三步：套用补课清单模板：
目标岗位：________________
补课周期：____ 周
| 板块 | 当前分 | 目标分 | 本周动作（读哪页/做什么练习） | 验收方式 |
|---|---|---|---|---|
| RAG | 1 | 3 | 读 RAG 实战 + 搭一个本地 demo | 能讲流程并回答 5 个追问 |
| 评测 | 2 | 3 | 读评估实战 + 用 lm-eval 跑一个基准 | 能解释分数与污染 |
| ... | | | | |第四步：三条执行原则。
- 每块只补到目标分，别贪多——面试只考高频，其余靠项目带出；
- 用面试题库当验收标准：能答出对应板块的题，才算补完；
- 每周复盘一次：把「会」的板块讲给（或写给小）一个外行听，讲不溜就是没真会。
十五、延伸阅读
站内继续读
- 面试题库 —— 本页每个板块的"面试怎么问"在这里都有带答案的完整版
- JD 清单 —— 回到关键词雷达，确认补课顺序
- 简历分析 —— 补完的板块如何变成简历里的证据
- 学习路径 —— 时间充裕时按系统精进路线补完整体系
参考资料
- Attention Is All You Need（arXiv:1706.03762） —— Transformer 原始论文，板块一的终极参考
- Training Compute-Optimal LLMs / Chinchilla（arXiv:2203.15556） —— 板块二数据配比的经典结论
- LoRA: Low-Rank Adaptation（arXiv:2106.09685） —— 板块三 LoRA 原始论文
- Direct Preference Optimization（arXiv:2305.18290） —— 板块四 DPO 原始论文
- Hugging Face LLM 课程 —— 覆盖微调/对齐/评测的免费中文课程，配合本站对照学习