Posted in

知识库召回功能更新:使用“多路召回”替代 “N 选 1 召回”_AI阅读总结 — 包阅AI

包阅导读总结

1.

“`

Dify 知识库、多路召回、N 选 1 召回、检索策略、升级调整

“`

2.

Dify 知识库将于 2024 年 9 月 1 日起停用“N 选 1 召回”策略,采用“多路召回”策略,以提升检索精确度。用户需相应调整,不同版本有不同操作,可通过设置调整权重或 Rerank 模型。Dify 会持续优化改造知识库。

3.

– 知识库召回功能更新

– 停用“N 选 1 召回”策略

– 存在缺陷,导致检索结果不全面、不准确

– 采用“多路召回”策略

– 可灵活配置,提升检索效果

– 用户操作指南

– Dify Cloud 用户:可手动调整,9 月 1 日未调整将自动切换

– 社区版或本地部署企业版用户:9 月 1 日后新版本不再支持,将提供数据迁移脚本

– “多路召回”Rerank 设置

– 包括权重设置和 Rerank 模型配置项

– 未来计划

– 对知识库进行更深度改造,增强开放性和灵活性

4.

思维导图:

文章地址:https://mp.weixin.qq.com/s/Kt6ZjfM0DRu6t8cawXY0jQ

文章来源:mp.weixin.qq.com

作者:Dify.AI

发布时间:2024/8/5 16:09

语言:中文

总字数:1520字

预计阅读时间:7分钟

评分:87分

标签:知识库检索,多路召回,Dify,RAG,检索策略


以下为原文内容

本内容来源于用户推荐转载,旨在分享知识与观点,如有侵权请联系删除 联系邮箱 media@ilingban.com

为提升 Dify 知识库的检索精确度,我们决定对知识库检索策略进行升级和调整:
自 2024 年 9 月 1 日起,我们将停用“N 选 1 召回”策略,取而代之的是支持灵活配置的“多路召回”策略。我们建议你切换到多路召回方案,并重新调试应用的召回效果。

🧐 为什么停用“N 选 1 召回”策略?

我们基于大量实践和社区用户反馈,发现“N 选 1 召回”策略存在明显缺陷。这种策略仅匹配单个知识库,且匹配的目标知识库严重依赖于 LLM 对知识库描述的理解。在检索匹配知识库时,可能会出现不合理的判断,导致检索结果不全面、不准确,无法提供高质量的查询答案。

考虑到这些问题,我们决定自 2024 年 9 月起停止支持“N 选 1 召回”功能,转而采用更灵活、更全面的检索策略。

🔀 个更好的检索方案:可配置的“多路召回”

为了获得更好的检索效果,本次更新我们着重对“多路召回”能力进行了升级:

我们强烈建议你从现在开始使用新的多路召回配置,以获得更精确的检索效果。

🛸 你需要做什么?

☁️ 对于 Dify Cloud 用户:

如果你创建的应用关联了知识库且选择了“N 选 1 召回”方案,你现在可以通过以下路径手动将原有的“N 选 1 召回”策略调整为“多路召回”:上下文(Context)—> 召回策略(Retrieval Setting)

注意:如果你在 2024 年 9 月 1 日前未进行调整,系统将自动为你切换到新的多路召回配置(默认配置)。一般来说,这将为你带来更好的检索结果。你可以随时在设置界面调整语义和关键词的权重或设置 Rerank 模型,以满足你的实际需求。

📦 于 Dify 社区版或本地部署的企业版用户:

2024 年 9 月 1 日后发布的新版本中将不再支持“N 选 1 召回”功能。届时,我们将提供数据迁移脚本以便升级。请留意我们的 release 公告。

🛠️ 如何使用“多路召回” Rerank 设置?

多路召回下的 Rerank 设置提供了权重设置和 Rerank 模型两个配置项。
在权重设置中,你可以通过不断调试关键词和语义的权重比例来确定能够获得最佳效果的召回策略。
当然,为了追求最高的检索精确度,我们建议使用 Rerank 模型来配置你的召回策略,详细内容请查看我们的帮助文档

📖 帮助文档:
https://docs.dify.ai/v/zh-hans/guides/knowledge-base/integrate_knowledge_within_application

🔚 写在最后

我们一直在听取社区用户的声音并不断优化 Dify 的 RAG 方案,本次升级仅是我们动作的第一步,接下来我们将会对知识库进行更深度的改造以增强 RAG 的开放性和灵活性,适应来自社区和客户的多样性需求。我们很乐意听到你的任何声音和反馈,欢迎扫描下方二维码,加入我们讨论更多。


🥳

如果你喜欢 Dify,欢迎:

  • 在 GitHub 上贡献代码,与我们一同共建更好的 Dify;

  • 通过线上线下活动、社交媒体向你的朋友们分享 Dify,以及你的使用经验;

  • 在GitHub上给我们点亮⭐️

  • https://github.com/langgenius/dify

  • 你也可以扫描下方二维码添加 Dify 小助手加入我们的好友群聊,相互分享使用经验: