程序员小灰 (@XiaohuiAI666) “你的 RAG 实现方法是错误的！ 传统 chunk 缺乏知识边界、版本信息和元数据，导致检索” — TopicDigg
程序员小灰
@XiaohuiAI666
加入 November 2025
0 正在关注 0 粉丝
你的 RAG 实现方法是错误的！
传统 chunk 缺乏知识边界、版本信息和元数据，导致检索上下文缺失、版本混杂、权限控制困难。
作者提出的新方法以 IdeaBlock（问题-答案+治理字段）替代 chunk，实现结构化知识单元。
不改检索算法，仅在上游数据层优化，可减少40倍语料、3倍 token，提升2.3倍相关性。
语义去重减少冗余向量，反而提升检索信号和准确率。
Blockify 提供七阶段管道（范围定义、摄入、提取、去重、标记、验证、导出）。
治理与版本控制内嵌数据层，查询更简单，更新仅需修改单一记录。
核心原则：修复知识单元而非下游补丁，已开源，可作为解析与向量库间蒸馏层。
显示更多
