当 RAG 回答错误时,团队容易首先更换模型。但如果正确资料没有被检索到,再强的模型也无法稳定给出答案。
先观察检索链路
需要分别衡量召回是否包含正确片段、排序是否把它放在前面,以及最终回答是否忠于证据。把三个问题混在一起,会让优化方向失焦。
文档治理决定上限
重复版本、过期政策、扫描件和缺失标题都会降低检索质量。知识库建设本质上也是内容治理工程。
一个可维护的 RAG 系统还要处理访问权限、来源引用和内容更新。上线后的持续评测,比一次性的演示分数更重要。
当 RAG 回答错误时,团队容易首先更换模型。但如果正确资料没有被检索到,再强的模型也无法稳定给出答案。
需要分别衡量召回是否包含正确片段、排序是否把它放在前面,以及最终回答是否忠于证据。把三个问题混在一起,会让优化方向失焦。
重复版本、过期政策、扫描件和缺失标题都会降低检索质量。知识库建设本质上也是内容治理工程。
一个可维护的 RAG 系统还要处理访问权限、来源引用和内容更新。上线后的持续评测,比一次性的演示分数更重要。