Posted in

什么是 “认知架构”?_AI阅读总结 — 包阅AI

包阅导读总结 1. 关键词:认知架构、LLM 应用、自主性级别、系统思维、架构选择 2. 总结:本文介绍了“认知架构”的含义,将其与系统思维相关联,并对应不同自主性级别的 LLM 应用举例。还提到选择认知架构时应考虑任务需求,LangChain 和 LangGraph 变得更灵活可定制以适应不同架构…

Posted in

重构标签将零样本文本分类性能提升 30%_AI阅读总结 — 包阅AI

包阅导读总结 1. 关键词:零样本分类、嵌入模型、标签重述、分类任务、性能提升 2. 总结:本文探讨零样本文本分类,指出其现实场景和可行性,介绍了基线方法,提出改进策略及相关实验,包括利用语言模型生成样本和重述标签以提升性能等。 3. 主要内容: – 零样本分类的设定与问题 &#8211…

Posted in

算法、系统和应用,三个视角全面读懂混合专家(MoE)_AI阅读总结 — 包阅AI

包阅导读总结 1. “` 混合专家(MoE)、大型语言模型、稀疏门控、算法分类、系统设计 “` 2. 混合专家(MoE)是提升大型语言模型效率的重要方法,历经多年发展。其基于模型不同部分专注不同任务的思想,分为密集和稀疏两类。文中从算法、系统和应用三方面介绍了MoE,包括门控…

Posted in

RLHF 不够用了,OpenAI 设计出了新的奖励机制_AI阅读总结 — 包阅AI

包阅导读总结 1. 关键词:OpenAI、RBR、语言模型、安全政策、强化学习 2. 总结:OpenAI 为解决传统语言模型安全训练中人类反馈的低效和过时问题,提出基于规则的奖励(RBR)机制,其能适应安全政策变化,减少人工数据需求,实验表明训练效果良好,也存在局限,未来计划更广泛研究。 3. 主要…

Posted in

LoRA 综述来了! 浙大《大语言模型的 LoRA 研究》综述_AI阅读总结 — 包阅AI

包阅导读总结 1. 关键词:LoRA、大语言模型、参数高效微调、跨任务泛化、联邦学习 2. 总结:LoRA 是一种参数高效微调方法,在大语言模型中表现出色,本文综述了其进展,包括改进性能的变体、跨任务泛化、计算效率提升、数据隐私保护及应用,还探讨了未来研究方向,如在生成即服务等领域的发展。 3. 主…