Slite最新发布的评估结果显示,AI搜索的准确性主要取决于企业文档的质量,而非搜索技术的复杂程度。测试表明,仅通过一次自动化清理,AI搜索的准确率便实现了显著提升。

数据对比:清理优于算法升级

Slite高级工程师Jason Phillips利用公开基准WixQA构建了测试环境,在企业常见文档中植入重复页面、链接断裂、事实更新不全及内容矛盾四种典型错误。测试针对同一知识库的三个版本——混乱版、经单次自动化清理版(无人工审查)及完全修复版,分别使用两种AI搜索智能体进行问答。

结果显示,简单的AI搜索智能体在混乱知识库上的正确率为50%;经过一次清理后,准确率提升至76%,增幅达26个百分点;在错误全部修复后,准确率达到87%。

具备反复搜索、判断及追踪链接能力的多步骤智能体表现更佳,但同样受限于数据质量。其在混乱、单次清理及完全修复版本上的准确率分别为63%、87%和96%。值得注意的是,即便采用更先进的多步骤架构,在面对过时知识库时,该智能体仍有三分之一的概率给出错误回答。

“仅靠更大的上下文窗口并不能解决任何问题。它甚至会导致许多问题的回答质量下降,因为矛盾、冗余且来源不明的信息会污染上下文。”——Jason Phillips,Slite高级工程师

行业反思:数据治理被低估

这一发现挑战了企业搜索领域的普遍认知。目前,企业多倾向于通过购买更昂贵的前沿模型或部署多步骤检索架构来提升准确性,但这不仅增加了每次回答的成本,也未能充分利用可用的提升空间。相比之下,文档清理带来的收益更为显著且成本可控。

Slite制定了严格的评分标准:若答案中包含正确数值但同时也保留了过时数值,仍被视为错误,以防用户依据过时信息采取行动。此次完整的评估报告及底层知识库研究已纳入Slite的知识框架,并提出了“已验证答案率”这一新指标,旨在帮助团队将碎片化信息转化为统一、可维护的事实来源。