包阅导读总结
1. 爱奇艺广告、特征评估、流程优化、Opal 平台、降本增效
2. 爱奇艺广告场景下特征评估面临挑战，与大数据团队合作基于 Opal 平台改进流程，使评估迭代效率提升，周期缩短。新流程确定完整评估 pipeline 并统一操作，还介绍了关键步骤，未来期待与平台更多合作优化。
3.
– 爱奇艺广告特征评估面临挑战
– 人力资源瓶颈，评估门槛高，效率低且标准不统一
– 流程复杂，不同场景差别大
– 流程优化实践
– 与大数据团队合作基于 Opal 平台改进
– 沉淀模型评估方法论，迭代效率提升 3 倍，周期从 5 天缩至 1.5 天
– 优化后的流程
– 确定完整评估 pipeline，统一在 Opal 平台操作
– 包括特征生产&前置评估、模型离线评估、特征管理与跟踪等关键步骤
– 未来展望
– 期待 Opal 平台提供更高效特征筛选办法
– 优化特征上线流程，共建特征评估和评价平台
思维导图：
文章地址：https://mp.weixin.qq.com/s/sDjNxE_CmZYzJy9CKUM2zA
文章来源：mp.weixin.qq.com
作者：智能广告部门
发布时间：2024/7/26 3:34
语言：中文
总字数：1385字
预计阅读时间：6分钟
评分：88分
标签：广告算法,特征评估,Opal机器学习平台,流程优化,降本增效
以下为原文内容
本内容来源于用户推荐转载，旨在分享知识与观点，如有侵权请联系删除 联系邮箱 media@ilingban.com
在搜广推系统中，特征质量是决定模型能力的关键因素。爱奇艺广告场景下，特征评估面临以下挑战：
-
人力资源瓶颈：整个流程基本需要算法工程师完成，评估门槛高，效率低且评估标准不统一。
-
流程复杂性：广告算法场景增多，每个场景下的特征评估流程有明显差别，流程变得越来越复杂。
为了更高效地构建并筛选出优质特征，爱奇艺广告算法团队与大数据团队合作，基于 Opal 机器学习平台对广告特征评估流程进行改进，并借助平台沉淀模型评估的方法论，使广告算法特征评估迭代效率提升 3 倍，评估周期从 5 天缩短到 1.5 天。
特征评估流程通常有以下四个主要部分：
-
模型评估：包括模型选择、模型训练和特征重要性评估。 结果汇总：对模型评估结果进行汇总和分析，最终决定是否上线。
旧流程缺点明显：
-
评估门槛高，需要熟悉特征生产、特征加工、模型代码等多个模块。 -
评估标准不统一，没有完整的 pipeline，评估准确性依赖个人经验。
针对旧流程问题，我们在 2022 年底开始将特征评估流程迁移至 Opal 机器学习平台，完成了整个流程的优化，大大提高了特征迭代的 ROI。优化后的流程如下图所示：
相比原流程，新流程中确定了完整的评估 pipeline，并且统一在 Opal 机器学习平台上操作。完整步骤如下图所示：
下文针对该流程，介绍一下流程关键步骤。
特征生产&特征质量前置评估
特征生产
1. Jupyter-Lab：notebook 编写脚本进行大数据处理和分析，脚本自动保存。
2. 特征和样本处理：应用图形化界面编写 SQL 和调用特征算子，实现特征预处理，样本清洗、处理和新特征拼接。
模型离线评估
Opal 集成了标准化模型离线评估和指标采集展示功能，覆盖了不同场景的需求。
-
新增训练模版：参数化模板配置并启动爱奇艺自建分布式平台训练任务。 -
流程模板调试：选定流程中指定节点启动任务并验证，流程节点失败时可对指定节点进行重试。 -
指标收集展示：模型评估完成并发送结果至平台，平台依据模版进行展示。
特征管理与跟踪
-
在线模型特征采集：通过模型 Meta 信息收集模型使用特征 -
上线特征管理跟踪：特征查询、模型查询和特征样本例行化监控
-
特征评价体系：除了评估单个模型中的特征表现，未来会致力于共同建设一个全面且高效的特征评估和评价平台，帮助业务筛选出表现最优的 Top 特征。 -
特征上线流程支持：Opal 平台应进一步对特征上线流程进行优化，提升特征验证、模型训练和更新的效率，为广告算法团队提供更加高效和经济的解决方案。
