分类

Posted in

ACL 2024 | Parrot（鹦鹉）：增强大语言模型在多轮对话中的指令跟随能力_AI阅读总结 — 包阅AI

by baoyueai

包阅导读总结

1.

关键词：大语言模型、多轮对话、指令跟随、Parrot、强化训练

2.

总结：多数开源大语言模型在多轮对话指令跟随方面表现不佳，作者针对现有不足提出Parrot方法，包括多轮数据收集、CaPO策略等，Parrot-Chat模型性能优于开源模型，虽有局限但有望推动相关研究和应用，快手大模型与多媒体技术部诚邀加入。

3.

主要内容：

– 开源大语言模型在单轮交互表现好，但多轮指令跟随有不足

– 训练方法未针对性优化多轮指令上下文关系

– 多轮数据集轮次短且与真实用户指令分布差异大

– 评测基准不足以评测多轮指令跟随表现

– Parrot方法

– 训练Parrot-Ask模型自动生成多轮指令序列并收集Parrot-40K数据集

– 提出CaPO策略构建训练样本对强化模型能力得到Parrot-Chat模型

– 评估与比较

– 扩展MT-Bench形成MT-Bench++评测集

– Parrot-Chat性能优于现有开源模型

– 消融实验证明Parrot方法有效性

– 快手大模型与多媒体技术部诚邀加入

思维导图：

文章地址：https://mp.weixin.qq.com/s/vlddfd13VI6YiutCSGTbHA

文章来源：mp.weixin.qq.com

作者：让你更懂AI的

发布时间：2024/7/23 10:05

语言：中文

总字数：2997字

预计阅读时间：12分钟

评分：87分

标签：大语言模型,多轮对话,指令跟随,自然语言处理,快手技术

以下为原文内容

本内容来源于用户推荐转载，旨在分享知识与观点，如有侵权请联系删除 联系邮箱 media@ilingban.com


多数开源的大语言模型（LLM）在单轮交互中表现出色，在一些评测基准上已经接近或超过了 ChatGPT、GPT-4。然而，在现实世界的应用场景中，用户与 LLM 通常需要进行多轮次对话来交换信息，模型不仅需要理解单一指令，还要在此基础上理解和遵循连续的指令。但是很多现有研究和评测基准都忽略了 LLM 在多轮指令跟随方面的表现，从而导致在实际应用中的模型效果不够理想。[5]现有工作的不足主要表现在以下三个方面：
训练方法方面，大部分现有工作直接使用 SFT 对模型进行指令微调，这种方式没有针对性地对多轮指令上下文的复杂关系进行优化。尤其是模型在应对包含指代、省略等的复杂指令时，可能导致模型上下文理解能力不足或者产生上下文幻觉。

图1: Parrot-Ask 合成多轮数据


训练数据方面，现有的多轮数据集通常轮次很短，比如常用的 ShareGPT 约 60% 的数据都在三轮以内。一些合成的多轮数据集使用 ChatGPT 或 GPT-4 来模拟用户，并通过迭代式对话来收集多轮数据，但是这些合成的指令和真实用户指令的分布差异很大，特别是缺少如图 1 所示的真实用户对话中的复杂特征，如指代、省略、口语化等等。

评测基准方面，常用的 MT-Bench 基准虽然包含了八种类别的指令，但只能评测两轮的指令遵循能力。而实际应用中用户与 LLM 的交互可能会远远超过 2 轮，这导致 MT-Bench 不足以评测 LLMs 的多轮指令跟随表现。

针对上述问题，作者设计了上下文感知的强化训练策略，提出了一套高效的多轮数据收集方法，最后通过所构建的包含 8 轮次的多轮指令跟随评测集 MT-Bench++，系统地研究了如何增强和评估大语言模型（LLM）的多轮指令遵循能力。

图2：Parrot 框架图


多轮数据收集：

表1：Parrot 数据集和其他数据集的比较

首先，如图2（a）所示，作者通过训练 Parrot-Ask 模型来自动生成类似于人类的多轮指令序列。作者利用真实用户和 ChatGPT 的对话记录数据（如 ShareGPT）来训练 Parrot-Ask 模型，让其从真实数据中学习真实用户的提问风格，从而更好地模拟人类来提出有上下文针对性的问题。
这一训练过程与传统的指令微调实现相反，Parrot-Ask 基于对话历史来预测用户的下一个问题，即在问题令牌上计算损失。在完成 Parrot-Ask 的训练后，作者让它与 ChatGPT 持续交互，并限定最大交互轮次为 10，从而收集了 Parrot-40K 数据集。经过后处理过滤等策略，该数据集的平均对话轮次为 8.7 轮。
其次，作者提出了上下文感知偏好优化策略（CaPO）来增强模型利用对话上下文信息的能力。如图 1（b）所示，通过选择对上文具有强依赖的指令（如省略、指代等），构建相应负样本来模拟 LLM 常见的上下文感知退化现象：
  • 忽略上下文：通过让 ChatGPT 生成回复时不考虑对话历史，模拟当语言模型没有参考对话历史时可能产生的错误回复。
  • 上下文幻觉：首先提示 ChatGPT 猜测指代词或省略所指的是什么，然后基于它的猜测生成回应。这种策略模拟了语言模型在缺乏足够的指代省略推理能力，因此产生幻觉的错误情况。
  • 上下文误解：指示 ChatGPT 从对话历史中选择不相关的信息，并强制模型误解它，来为当前查询中的省略或指代信息生成回应。这种方法模拟了语言模型错误推理指代省略等信息导致的错误。
基于上述三种策略，作者构建了 30K 正-负例 CaPO 训练样本对。接下来，这些数据用于通过直接偏好优化（DPO）算法，来在 SFT 后的 LLM 基础上进一步强化模型在多轮交互中的上文感知和利用能力。通过以上优化，最终得到了增强多轮交互能力的 Parrot-Chat 模型。

表2：MT-Bench++ 中关于经济主题的八个问题


为了评估 Parrot 方法在多轮交互中的有效性，作者扩展 MT-Bench 形成了包含八个问题的评测集 MT-Bench++。作者要求 MT-Bench++的标注员构建具有挑战性、上文相关性和多样性的问题，来更好地评价 LLM 的多轮交互能力。与 MT-Bench 一样，作者使用 GPT-4 按照【1-10】打分的方式进行评测。

表3：Parrot-Chat 和基线模型的性能比较


Parrot-Ask 和 Parrot-Chat 采用了 LLaMA-2-13B 验证方案的有效性，与现有的基于 LLaMA-2-13B 基座微调的开源对话模型，包括 Baize、UltraLM、Vicuna 以及 LLaMA-2-13B-Chat 相比，Parrot-Chat 即使在没有应用 CaPO 策略的情况下，已经在 MT-Bench 基准的所有评估指标上超越了其他模型。
引入 CaPO 策略后，Parrot-Chat 在 MT-Bench 以及 MT-Bench++ 的整体表现上进一步显著提高，特别是在 MT-Bench 的第二轮，以及 MT-Bench++ 的第三到第五轮中，显示出 CaPO 策略在提升模型处理复杂上下文信息方面的效果。尽管 OpenAI 的 ChatGPT 和 GPT-4 在性能上领先，但 Parrot-Chat 作为一个开源模型，仅使用 40K 样本的 Parrot-40K 数据集，便展现出相较于开源模型的卓越性能，进一步证明了 Parrot 方法的有效性。
表4：消融实验
作者进一步进行了消融实验，在使用同样 20K 数据的情况下，用 Parrot-Ask 收集的数据训练得到的模型超过了 UltraChat 和 ShareGPT。表明相比于用 ChatGPT 模拟用户，利用 Parrot-Ask 可以收集到更高质量的多轮指令微调数[7]据，带来约 3.5% 的性能提升。同时对比 ShareGPT，更多轮次的交互也带来了约 1.8% 的性能提升。另外，作者提出的三种负面响应的构造策略都是有效的，而组合这三种策略带来了 2.4% 的提升。

Parrot 通过提出 CaPO 训练策略以及新的多轮指令数据合成方法，提升了 LLMs 在多轮交互中的指令遵循能力。尽管存在数据集规模有限和依赖 ChatGPT 进行数据收集与评测的局限性，本文希望能为推动 LLMs 在多轮对话领域的研究和应用带来帮助。

快手大模型与多媒体技术部，专注于快手大模型及应用的研发。凭借深厚的技术积淀，全面构建了快手大模型能力矩阵，涵盖语言、视觉、音频及多模态技术，并深度结合多元业务场景，如内容理解、短视频/直播创作、社交互动、商业化AIGC等，应用前景广阔。快手大模型与多媒体技术部、AI Platform，诚邀你加入！

在这里你可以获得：

  • 参与大模型核心研发和应用，见证和推动技术变革

  • 为亿万用户带来精彩纷呈的智能体验

  • 和行业算法专家并肩作战

我们期待你的加入！请发简历到：

dongbinbin@kuaishou.com