其实你往 LLM 里塞的东西，大部分都是垃圾

RAG 这条路走了这么多年，有一件事几乎没人当着台面说：我们检索回来的大部分内容，其实没有被真正用上。

不是说检索技术不好，也不是说向量数据库不管用。问题更基础——我们对"相关"的定义，一直是模糊的。

经典 RAG 在做什么

[外链图片转存中…(img-RoaHeoNx-1778233204617)]

经典 RAG 的逻辑很直觉：用户问了一个问题，把问题编码成向量，去数据库里找最相似的几个 chunk，然后把这些 chunk 拼进上下文，丢给 LLM。

听起来合理。但这套逻辑有一个根本上的懒惰：它把"相似"当成了"相关"。

向量相似度说的是语义空间里的距离，不是"这段内容对回答这个问题有没有帮助"。很多时候两件事并不一样。你问的是"为什么模型在长文本下会漂移"，检索系统给你返回了五段关于 transformer 注意力机制的文本——语义相关，没错，但真正能帮 LLM 形成有效推理的可能只有其中一段，剩下四段是噪声。

噪声不是免费的。每一个多余的 token 都要付出计算代价，都在压缩有效信息的密度，都在增加 LLM 产生"注意力漂移"的概率。这个问题在工程上被各种方式掩盖过——reranker、混合检索、chunk 大小调优——但没有人从根上动刀。

Meta AI 最近发了一篇论文，叫 REFRAG，做的正是这件事。

REFRAG 的思路转变

[外链图片转存中…(img-Pp1k8Y63-1778233204618)]

REFRAG 不改变"先检索再生成"这个基本框架，但它重新定义了"检索到什么"和"传给 LLM 什么"之间的关系。

传统 RAG 里这两件事是等号。REFRAG 在中间插了一把过滤器，而且这把过滤器不是启发式规则，是用强化学习训练出来的策略网络。

具体来说，REFRAG 引入了三个动作：

Chunk 压缩。 每一个文档块不再以数百个 token embedding 的形式存在，而是被压缩成一个单一的向量表示。这个压缩向量保留了语义信息，但体量极小。

RL 策略过滤。 一个轻量的强化学习策略，在向量层面对这些压缩表示进行打分和筛选，决定哪些 chunk 值得被送进 LLM，哪些不值得。这个策略的训练目标直接和最终生成质量挂钩，而不是和某个中间的相似度分数挂钩。

选择性展开。 被策略选中的 chunk，才会被展开成完整的 token-level embedding，和查询一起拼接送进 LLM。被拒绝的 chunk？它们以压缩向量的形式附在上下文末尾，让 LLM 知道"有这些东西存在，但不重要"。

这个设计有一个微妙之处：被拒绝的 chunk 不是被丢弃，而是以极低的信息密度保留在上下文里。LLM 因此不会产生信息盲区，但也不会被噪声淹没。这比粗暴地截断或丢弃要聪明得多。

数字的含义

论文给出的性能数字看起来很惊人——首 Token 生成速度提升 30.85 倍，是此前最优方法的 3.75 倍；支持的上下文窗口扩大 16 倍；在 16 个 RAG 基准测试上超越 LLaMA，同时解码 token 数减少 2 到 4 倍；在 RAG、摘要、多轮对话任务上无精度损失。

但这些数字背后更值得注意的不是量级，而是它们同时发生这件事。

过去我们做 RAG 优化，几乎总是在速度和质量之间取舍：想更快就减少检索量，质量可能下降；想更准就扩大检索范围，延迟和成本上升。REFRAG 打破了这个假设。它更快，是因为送进 LLM 的 token 更少；它不更差，是因为过滤器足够聪明，把真正有用的东西保留下来了。

这不是工程参数调优，是方法论层面的换挡。

一个更深的问题

REFRAG 的意义不只是它本身。它揭示了一个过去被系统性忽略的问题：RAG 的瓶颈从来不在检索，在过滤。

检索的目标是召回，是宁可多要、不能少要。但 LLM 的上下文是有限资源，塞进去的东西越多，真正有用的部分占比越低，生成质量越难保证。这两个目标在逻辑上是冲突的，而传统 RAG 选择了无视这个冲突。

过去的解法多是在检索层做文章：更好的嵌入模型、更细的 chunk 切分、更复杂的 reranker。REFRAG 换了一个角度：在检索和生成之间引入一个可训练的决策层，专门处理"什么该传、什么不该传"这个问题。

这个角度转变，可能比那些数字本身更重要。

当然，论文是论文，工程落地是另一回事。RL 训练策略的稳定性、压缩-展开流程的额外开销、在特定领域数据上的泛化能力——这些都是真正落地时要面对的问题。但方向是对的。

RAG 走到今天，是时候认真思考一个问题了：我们不是不够努力地检索，我们太缺少勇气去丢弃。

参考文献：https://arxiv.org/pdf/2509.01092

这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！

👇👇扫码免费领取全部内容👇👇

1. 成长路线图&学习规划

要学习一门新的技术，作为新手一定要先学习成长路线图，方向不对，努力白费。

这里，我们为新手和想要进一步提升的专业人士准备了一份详细的学习成长路线图和规划。可以说是最科学最系统的学习成长路线。

2. 大模型经典PDF书籍

书籍和学习文档资料是学习大模型过程中必不可少的，我们精选了一系列深入探讨大模型技术的书籍和学习文档，它们由领域内的顶尖专家撰写，内容全面、深入、详尽，为你学习大模型提供坚实的理论基础。（书籍含电子版PDF）

3. 大模型视频教程

对于很多自学或者没有基础的同学来说，书籍这些纯文字类的学习教材会觉得比较晦涩难以理解，因此，我们提供了丰富的大模型视频教程，以动态、形象的方式展示技术概念，帮助你更快、更轻松地掌握核心知识。

4. 2026行业报告

行业分析主要包括对不同行业的现状、趋势、问题、机会等进行系统地调研和评估，以了解哪些行业更适合引入大模型的技术和应用，以及在哪些方面可以发挥大模型的优势。

5. 大模型项目实战

学以致用 ，当你的理论知识积累到一定程度，就需要通过项目实战，在实际操作中检验和巩固你所学到的知识，同时为你找工作和职业发展打下坚实的基础。

6. 大模型面试题

面试不仅是技术的较量，更需要充分的准备。

在你已经掌握了大模型技术之后，就需要开始准备面试，我们将提供精心整理的大模型面试题库，涵盖当前面试中可能遇到的各种技术问题，让你在面试中游刃有余。

7. 资料领取：全套内容免费抱走，学 AI 不用再找第二份

不管你是 0 基础想入门 AI 大模型，还是有基础想冲刺大厂、了解行业趋势，这份资料都能满足你！
现在只需按照提示操作，就能免费领取：

👇👇扫码免费领取全部内容👇👇