为什么RAG不能用于AI记忆
RAG 的本质是什么?
结论:RAG 是通过牺牲信息精度来获取信息匹配空间的一种检索方式。牺牲的信息精度即信息的语义性(Semantic loss[1])
从原理上看,RAG 的工作流程是将文本转换为向量,然后通过相似度计算找到"相关"的内容。这个过程中,丰富的语义信息被压缩成固定维度的数字,细微的含义差异被抹平了。
目前业界遇到的所有的问题本质上都是因为 Semantic loss 所导致,比如
- 扩大语义鸿沟( Semantic Gap )[2]
- 低召回率:"low recall and hit rates" 影响实际应用效果 [3]
- 上下文丢失:文档切块(chunking)导致关键上下文信息丢失 [3]
- 规模化困难:文档越多,向量检索准确性越差 [3]
- 相似文档区分困难:高相似度文档难以有效区分 [3]
举个例子:当我们存储"我喜欢吃草莓"这句话时,RAG 可能在检索时先找到"我喜欢",然后通过多路召回找到"我喜欢吃草",最后 AI 得出结论——用户喜欢吃草。这就是典型的 AI 幻觉产生机制:片段化检索加上错误拼接。
那么,这种信息损失真的可以通过技术改进来弥补吗?
为什么 RAG 的问题无法通过改进 RAG 解决?
结论:计算永远无法复刻语义特性。这不是工程问题,而是哲学本源的鸿沟。
哲学家 John Searle 提出的"中文房间"思想实验揭示了这个根本问题[4]:
想象一个不懂中文的人坐在房间里,手边有一本详细的中文符号处理规则手册。当有人从门缝递进中文问题时,他按照手册的规则,找到对应的中文符号组合作为回答递出去。虽然房间外的人看起来他"懂"中文,但实际上他只是在机械地执行符号转换规则,对中文的意义一无所知。
这揭示了一个哲学本源的鸿沟:
计算/RAG 的世界(唯物) | 认知的世界(唯心) |
---|---|
符号 | 意义 |
向量 | 概念 |
算法 | 理解 |
数据 | 体验 |
Stevan Harnad 的"符号接地问题"[5]进一步说明:想象你要通过查字典学中文,但字典里所有的解释都是中文。你查"马",得到"一种动物";查"动物",得到"生物的一种"...符号永远只能指向其他符号,无法触及真实的意义。
这是本体论层面的鸿沟:
- 计算是物理过程,遵循因果律
- 意义是心智现象,属于意识范畴
- 前者是客观的、可测量的、确定的
- 后者是主观的、体验的、涌现的
无论如何改进 RAG,都无法跨越这个鸿沟——就像再精密的照相机也无法拍摄到"美"本身,只能拍摄到承载美的物体。
但这是否意味着 RAG 一无是处?
RAG 真正适合什么场景?
结论:RAG 是优秀的信息检索工具,但不是认知系统。
RAG 在公共信息检索场景下非常有价值。就像搜索引擎对人类的作用——我们不会直接应用搜索结果,而是需要大脑进行分析、推理和学习。AI 也应该如此:用 RAG 检索外部信息,用真正的记忆系统进行认知处理。
具体来说,RAG 适合:
- 知识问答(查找事实性信息)
- 文档辅助(在大量文档中定位相关段落)
- 作为 AI 的"外部参考书"
关键区别在于:检索是找到信息,认知是理解信息。前者是 RAG 的领域,后者需要真正的认知系统。
那么,什么才是真正的 AI 的记忆?
AI 的记忆需要什么?
结论:真正的 AI 记忆需要保持语义完整性、理解概念关系、支持个性化组织。
与 RAG 的片段化存储不同,真正的记忆系统需要:
- 语义完整性:"我喜欢吃草莓"作为完整的认知单元
- 结构化关系:理解"草莓"是宾语,不会错误分割
- 个性化组织:每个 AI 个体有自己独特的语义网络
- 动态演化:随着经验积累,认知结构不断发展
这就引出了核心问题:如何构建一个真正的 AI 个体认知系统?
Monogent:AI 个体认知系统
就像人类儿童从共同的语言开始,逐渐形成自己独特的思维方式,AI 也需要这样的发展过程。这不是简单的信息存储,而是认知结构的构建和演化。
Monogent(AI Individual Cognitive System)正是为了解决这个问题而生。我们需要的不是更好的检索算法,而是真正理解
- 什么是记忆
- 什么是思考
- 什么是知识
- 什么是经验
- 什么是学习
- 什么是创新
- 什么是认知
- 什么是个体
在接下来的文章中,我们将深入探讨这些问题。
关于作者
Deepractice - 让AI触手可及 | Make AI at your fingertips
本文是 Monogent 理论系列的第一篇。Monogent 致力于构建真正的 AI 个体认知系统,让每个 AI 都能拥有自己独特的认知世界。
参考文献
[1] Optimizing RAG with Hybrid Search & Reranking - Superlinked VectorHub
[2] The Rise and Evolution of RAG in 2024 - RAGFlow
[3] Overcoming Vector Search Limitations in RAG Workflows - Amity Solutions
[4] Searle, J. R. (1980). "Minds, brains, and programs". Behavioral and Brain Sciences. 3 (3): 417–424.
[5] Harnad, S. (1990). "The Symbol Grounding Problem". Physica D. 42: 335-346.