Prompt = 角色 + 任务 + 要求 + 细节【步骤拆解、范例说明，技巧点拨等】

RAG即Retrieval-Augmented Generation，是一种结合检索和生成技术的模型。它通过引用外部知识库的信息来生成答案或内容，具有较强的可解释性和定制能力，适用于问答系统、文档生成、智能助手等多个自然语言处理任务中。RAG模型的优势在于通用性强、可实现即时的知识更新，以及通过端到端评估方法提供更高效和精准的信息服务。

为什么要用 RAG，因为大模型（LLM）的知识存在固有缺陷：

2.1 RAG架构

RAG的工作原理是通过检索大规模文档集合中的相关信息，然后利用这些信息来指导文本的生成，从而提高预测的质量和准确性。

通过这一过程，RAG模型能够在各种自然语言处理任务中发挥作用，如问答系统、文档生成和自动摘要、智能助手和虚拟代理、信息检索以及知识图谱填充等。同时，RAG模型具有及时更新、解释性强、高度定制能力、安全隐私管理以及减少训练成本等优点。与微调相比，RAG是通用的，适用于多种任务，并且能够实现即时的知识更新而无需重新训练模型。

2.2 知识库介绍

第一、离线的知识数据向量化

• 加载：通过文档加载器（Document Loaders）加载数据/知识库。

• 拆分：文本拆分器将大型文档拆分为较小的块。便于向量或和后续检索。

• 向量：对拆分的数据块，进行 Embedding 向量化处理。

• 存储：将向量化的数据块存储到向量数据库 VectorDB 中，方便进行搜索。

• 检索：根据用户输入，使用检索器从存储中检索相关的 Chunk。
• 生成：使用包含问题和检索到的知识提示词，交给大语言模型生成答案。

2.3 RAG应用场景

Agent = LLM+Planning+Tool use+Feedback
Agent 是让 LLM 具备目标实现的能力，并通过自我激励循环来实现这个目标。

3.1 PDCA思维模型

PDCA思维模型大家应该都了解，我们可以把智能体执行过程比作PDCA思维模型，我们可以将完成一项任务进行拆解，按照作出计划、计划实施、检查实施效果，然后将成功的纳入标准，不成功的留待下一循环去解决。目前，这是人们高效完成一项任务非常成功的经验总结。

3.2 智能体架构

PDCA 循环是人日常做事思维模型，大模型是否可以像人一样，让大模型代替人的工作。因而，智能体应运而生，让大模型具备执行能力。

下图是智能体架构典型的架构，在很多智能化介绍文档都有引用。

3.3 智能体开发框架

LangChain是一个用于开发由语言模型支持的应用程序的框架。它使应用程序能够：

LangChain框架有以下几个核心组成部分：

• LangChain库：Python和JavaScript库。包含无数组件的接口和集成、将这些组件组合成链和Agent的基本运行时，以及链和Agent的现成实现。

• LangChain模板：一系列易于部署的参考架构，适用于各种任务。

• LangServe：用于将LangChain链部署为RESTAPI的库。

• LangSmith：一个开发者平台，可让您调试、测试、评估和监控基于任何LLM框架构建的链，并与LangChain无缝集成。

在MetaGPT看来，可以将智能体想象成环境中的数字人，其中

智能体 = 大语言模型（LLM） + 观察 + 思考 + 行动 + 记忆

这个公式概括了智能体的功能本质。为了理解每个组成部分，让我们将其与人类进行类比：

1.大语言模型（LLM）：LLM作为智能体的“大脑”部分，使其能够处理信息，从交互中学习，做出决策并执行行动。

2.观察：这是智能体的感知机制，使其能够感知其环境。智能体可能会接收来自另一个智能体的文本消息、来自监视摄像头的视觉数据或来自客户服务录音的音频等一系列信号。这些观察构成了所有后续行动的基础。

3.思考：思考过程涉及分析观察结果和记忆内容并考虑可能的行动。这是智能体内部的决策过程，其可能由LLM进行驱动。

4.行动：这些是智能体对其思考和观察的显式响应。行动可以是利用 LLM 生成代码，或是手动预定义的操作，如阅读本地文件。此外，智能体还可以执行使用工具的操作，包括在互联网上搜索天气，使用计算器进行数学计算等。

5.记忆：智能体的记忆存储过去的经验。这对学习至关重要，因为它允许智能体参考先前的结果并据此调整未来的行动。

向量数据库是专注于存储和查询向量的系统，其向量源于文本、语音、图像等数据的向量化表示。相较于传统数据库，向量数据库更擅长处理非结构化数据，比如：文本、图像和音频。在机器学习和深度学习中，数据通常以向量形式存在。向量数据库凭借高效存储、索引和搜索高维数据点的能力，在处理比如：数值特征、文本或图像嵌入等复杂数据时表现出色。

以 OpenAI 为例，它采用一个 1536 维的浮点数向量空间。当你向 ChatGPT 提出疑问时，输入的文本首先被编码并转换成一个数学向量，随后作为神经网络的输入。神经网络产生的直接输出也是一个向量，该向量随后被解码回人类的自然语言或其他形式，最终呈现给你。

语言大模型处理的是编码、运算到输出的整个流程。但是，单纯的计算并不足以支撑其智能行为，记忆同样是关键组成部分。大型模型可以被看作是对人类公开数据集进行压缩和存储的一种形式，其中包含的丰富知识通过训练过程被编码进模型，体现在模型的权重参数中。为了实现更高精度、更长期、更过程化的大容量记忆存储，就需要借助向量数据库技术。这些数据库专门设计来高效存储和检索高维向量，它们是大模型记忆功能的重要支撑，使得AI系统能够更精准地回忆和利用已学习的知识。

知识图谱在反欺诈领域应用广泛，通过分析实体间关系网络识别潜在欺诈行为。它整合多源数据，实现多维度风险评估和异常检测，提高预警准确性。知识图谱的可视化分析助力快速识别欺诈模式，同时辅助制定和优化反欺诈策略。此外，它还用于贷后管理和案件调查，提升金融风控效率和效果。随着技术发展，知识图谱在反欺诈中的作用日益凸显。

6.1 什么是微调（Fine-tuning）

6.2 如何微调（Fine-tuning）

PEFT旨在解决FFT的这些问题，是目前更流行的微调方法。从训练数据来源和方法来看，PEFT包括几种技术路线：

1.监督式微调（SFT），使用人工标注数据，通过监督学习进行微调。

2.基于人类反馈的强化学习微调（RLHF），将人类反馈通过强化学习引入微调，使模型输出更符合人类期望。

不同的微调方法侧重点不同，实际操作中可以结合多种方案，以达到最佳效果。

总之，工具调用为LLM提供了调用外部工具的能力，扩展了其应用范围，开发者可以定义各种功能的函数，帮助LLM完成更复杂的任务。

这些技术相互配合，形成了一个多元化、高度协作的AI生态系统。它们共同推动着AI技术的持续进步，为实现AGI的终极目标打下了坚实的基础。随着技术的不断发展和创新，我们离实现真正的通用人工智能的愿景越来越近。