灵活可扩展的新一代 IR 技术——飞桨框架 3.0 基石技术深度解析_AI阅读总结 — 包阅AI

为了让优秀的飞桨开发者们掌握第一手技术动态、让企业落地更加高效，飞桨官方在7月至10月特设《飞桨框架3.0全面解析》系列技术稿件及直播课程，邀请百度飞桨核心团队数十位工程师齐上阵，技术解析加代码实战，带大家掌握包括核心框架、分布式计算、产业级大模型套件及低代码工具、前沿科学计算技术案例等多个方面的框架技术及大模型训推优化经验。

本文是该系列第二篇技术稿件，文末附对应直播课程详情。

近些年来，越来越多的框架和研究者将编译器技术引入到深度学习的神经网络模型优化中，并在此基础上借助编译器的理念、技术和工具对神经网络进行自动优化和代码生成。作为深度学习框架性能优化、推理部署、编译器等方向的重要基石——计算图中间表示（Intermediate Representation，即 IR），在大模型场景下对其灵活性、扩展性、完备性也提出了更高的要求，即如何便捷地支撑大模型自动并行下丰富的切分策略，如何更低成本地实现性能优化 Pass 等。

在3.0版本下，飞桨充分考虑大模型对 IR 的需求，在基础架构层面规范了中间表示 IR 定义，全架构统一表示，实现了推理、分布式、编译器等上下游各方向共享开发成果。飞桨的新一代 IR 架构通过更加完备且鲁棒的语义表达能力、训推全架构统一表示和高效可插拔的性能优化策略（Pass）开发机制，无缝对接神经网络编译器实现自动性能优化和多硬件适配，加速大模型训推流程。

对于一个特定的深度学习任务模型，从算法工程师的模型视角来看，主要涉及三个核心概念：数据集（Dataset）、网络模型（Model）、迭代训练（Training）；但从研发工程师的框架视角来看，主要有两个核心概念：张量（Tensor）和算子（Operator）。广义上，算子是“计算操作”的一种表示，比如矩阵乘算子 Matmul，有两个输入和一个输出。狭义上，算子包含计算表示和 Kernel 定义，其中 Kernel 与硬件有很强的关联性，同一个算子表示可以对应多个 Kernel 定义。比如 Matmul 算子有 CPU Kernel，也有 GPU、XPU、NPU 等硬件上 Kernel。

飞桨采用了动静统一的技术架构设计，以动态图为默认编程范式。其即时执行的特点给开发者提供了 Pythonic 的流畅使用体验，同时提供了动转静功能（如飞桨的@to_static）支持用户可以一键转为静态图执行。用户的模型代码在静态图模式下会先记录所有的张量和算子操作，构建一个完整的计算图（即 IR 中间表示），然后借助框架的内核执行器在给定的硬件设备上执行训练或者推理。

在深度学习框架中，中间表示在架构层面承担着非常重要的角色，主要包括：

在深度学习框架 IR 概念中，“顺序性”和“图语义”是两个非常高频常用的概念。旧的中间表示体系由“顺序性”ProgramDesc 和“图语义”Graph 两个核心类共同承载。用户在静态图 API 或者动转静模块下，产生的中间表示是 Op-by-Op 的 Program，如果要应用更高层面的优化策略（比如算子融合、inplace 策略、剪枝等），框架会将由 Program 构造出 Graph，其由数据节点、算子节点和彼此关联的边构成。

在新的 Paddle IR 中，飞桨在底层抽象了一套高度可扩展的基础组件，包括 Type、Attrbute、Op、Trait 和 Interface，并引入了 Dialect 的概念，支持开发者灵活扩展、自由定制，提供了完备鲁邦的语义表达能力；在模型表示层，通过多 Dialect 模块化管理，统一多端表示，实现了训推一体的全架构统一表示，无缝衔接组合算子和编译器，支持自动优化和多硬件适配；在图变换层，通过统一底层模块，简化基础概念，向用户提供了低成本开发、易用高性能、丰富可插拔的 Pass 优化机制。飞桨的新一代的 IR 表示坚持 SSA（静态单赋值）原则，模型等价于一个有向无环图。并以 Value、Operation 对计算图进行抽象：

如上左图所示，新一代 IR 的整体设计自底向上分为三层：

飞桨提供了 Trait 和 Interface 两种重要机制实现了对算子 Op 的特征和接口的抽象标记。比如 InplaceTrait 表示一个 Op 具有 Inplace 特征， InferShapeInterface 表示一个算子定义了 InferShape 函数接口等，这二者都是可以任意扩展的，仅派生自相应的基类、遵循相应的实现规则即可；并对算子体系下核心概念抽象出 Type、Attrbute、Op，这三者是基于 Trait 和 Interface 进行定义的。Dialect 用来对 Type、Attribtue、Op 做模块化管理， 比如 BuiltinDialect、DistDialect、CinnDialect 等等。一个 Dialect 里面包含了一系列的 Type、Attribtue、Op 的定义。相应的，每个 Type、Attribtue、Op 都是定义在某个唯一的 Dialect 里面。对整个 IR 框架而言， Dialect 是可以随意插拔的，也是可以任意扩展的。

这一层是 IR 适应多种场景的基础。这一层的每一个要素都是可定制化扩展，一般情况下，针对一个具体的场景（比如分布式、编译器）只需要在其 Dialect 中定义特定的 Trait、Interfce 以及 Type、Attribute、Op 即可。

飞桨通过不同层级的 Dialect 来管理框架内不同领域的算子体系，比如 Built-in 下的 Shape Dialect 和 Control Flow Dialect（分别用于形状符号推导和控制流表示）、与 PHI 算子库执行体系相关的 Operator Dialect 和 Kernel Dialect、与神经网络编译器领域相关的 CINN Dialect 等。在飞桨神经网络编译器中，主要以计算图 Operator Dialect 为输入，经过组合算子和 Pass Pipline 后，会转换为 CINN Dialect，并附加 Shape Dialect 中的符号信息，最后会 Lowering 成编译器的 AST IR。

上述这些多层级的 Dialect 内的算子 Op 会组成 Program ，并用来表示一个具体的模型，它包含两部分：计算图和权重 。

Pass 的核心是子图匹配和替换（即图变换），是将一个 Program 通过某种规则转换为另一个新的 Program。IR 中包含了计算图中全局信息，如上下游算子的邻接关系等，更有利于进行图优化，比如常量折叠、算子融合，Inplace 策略等。我们将在第三章节详细介绍 Pass 开发机制。

飞桨以 Paddle IR 为基础，提供了高效可插拔的性能优化 Pass 策略开发机制，在训练、推理、分布式、编译器等多领域场景下可复用，且友好支持多硬件定制化。在新 IR 体系下，飞桨支持2种 Pass 开发范式：Pattern Rewriter 和 DRR，充分兼顾自定义灵活性和开发易用性，实现了 Pass 开发成本降低58%；应用于推理场景，超过84%的模型推理加速超10%。

Pass 的核心是一个“子图匹配和替换”的过程，一般需要开发者定义待替换子图的源 Pattern，以及期望替换的目标 Pattern。在 Pattern Rewriter 机制下，分别对应于实现 Match 和 Rewrite 逻辑。

举个例子，假设在 Kernel Dialect 里，我们期望移除冗余的 Feed 算子，以提升执行效率。则需要如下两个步骤。

1.继承 PatternRewritePass类：只需要在 InitializePatterns 里添加目标算子的 Pattern 即可，开发者无需关心计算图遍历实现；

2.定义Match 和 Rewrite逻辑：新增目标算子的Pattern，实现 Match 和 Rewrite 接口函数。

Declarative Rewrite Rule 机制（即 DRR）是一种三段式 Pass 开发范式，让开发者更聚焦于 Pass 逻辑的处理，无需关心底层 IR 的实现细节，所见即所得。

举个例子，在混合精度训练的计算图中，常会出现连续的 DataType 相关的 Cast 操作。从优化角度，类似连续的 Cast 操作完全可以简化成一个 Cast 即可，如下图左侧示意图。

基于 DRR 的 Pass 机制，我们只需要如下两个简单的步骤。

1.继承 DrrPatternBase 模板类：此模版类提供了一系列的基础方法，帮助用户用更简洁的形式描述中间 DAG 子图表示的 Pattern 信息。

2.定义Source/Target Pattern：通过 DrrPatternContext来创建、描述源、目标Pattern，仅需要聚焦算子的输入、输出关系即可。

什么是 Dialect 呢？可以简单理解为“域”的概念，是高度灵活性的核心支撑。飞桨新 IR 下可以定义不同的 Dialect，如用于编译期算子定义的 Operator Dialect、用于执行期的 Kernel Dialect、用于 AI 编译器的 CINN Dialect 等。

在飞桨神经网络编译器中，以计算图 Operator Dialect 为输入，经过组合算子和 Pass Pipline 后，会转换为 CINN Dialect，并附加 Shape Dialect 中的符号信息，最后会 Lowering 编译器 AST IR。各阶段涉及的 Dialect 主要为：

在 3.0 框架中，飞桨对150+个基础算子和典型算子新增支持了动态 Shape 的推导逻辑（即 InferSymbolicShape），可动态地随计算图 Pass 的应用来自适应且 Lazy 地更新计算图中间表示的符号信息。

飞桨 3.0 Beta 版本下，推出了新一代中间表示 PIR，这项技术对底层的核心概念如 Operation、Attribute 等进行了系统性的抽象，为开发者提供了灵活的基础组件；同时，通过引入 Dialect 这一概念，飞桨能够全面、分层次管理框架各模块对中间表示的需求，并支持开发者根据需求定制化扩展 Dialect，显著提升了框架的扩展性。PIR 遵循 SSA（即 Static Single Assignment）原则，统一了顶层结构，实现“算子顺序性”和“计算图语义”的兼容表示。此外，PIR 还提供了更加简洁、低成本的 Pass 开发流程（DRR 和 pattern write），并内置了一系列丰富且功能完备的 Pass 优化策略，实现了 Pass 开发成本降低58%；应用于推理场景，超过84%的模型推理加速超10%，为大模型的极致性能优化提供了强有力支撑。

7月-10月特设《飞桨框架3.0全面解析》直播课程，邀请百度飞桨核心团队数十位工程师倾囊相授，技术解析+代码实战，带大家掌握核心框架、分布式计算、产业级大模型套件及低代码工具、前沿科学计算技术案例等多个方面的框架技术及大模型训推优化经验，实打实地帮助大家用飞桨框架3.0在实际开发工作中提效创新！

为了让优秀的飞桨开发者们掌握第一手技术动态、让企业落地更加高效，根据大家的呼声安排史上最强飞桨技术大餐！涵盖飞桨框架3.0、低代码开发工具 PaddleX、大语言模型开发套件 PaddleNLP、多模态大模型开发套件 PaddleMIX、典型产业场景下硬件适配技术等多个方向，一起来看吧！

温馨提示：以上仅为当前筹备中的部分课程，

如有变动，敬请谅解。

【前序技术稿件】

飞桨新一代框架3.0：“动静统一自动并行、大模型训推一体”等新特性构筑大模型时代核心生产力

【3.0-Beta 视频教程】

https://aistudio.baidu.com/course/introduce/31815

【3.0-Beta 官方文档】

https://www.paddlepaddle.org.cn/documentation/docs/zh/guides/paddle_v3_features/index_cn.html

【开始使用】

https://www.paddlepaddle.org.cn/documentation/docs/zh/guides/paddle_v3_features/overview_cn.html#jiukaishishiyong

【动转静 SOT 原理及使用】

https://www.paddlepaddle.org.cn/documentation/docs/zh/guides/paddle_v3_features/sot_cn.html

【自动并行训练】

https://www.paddlepaddle.org.cn/documentation/docs/zh/guides/paddle_v3_features/auto_parallel_cn.html

【神经网络编译器】

https://www.paddlepaddle.org.cn/documentation/docs/zh/guides/paddle_v3_features/cinn_cn.html

【高阶自动微分功能】

https://www.paddlepaddle.org.cn/documentation/docs/zh/guides/paddle_v3_features/higher_order_ad_cn.html

【PIR 基本概念和开发】

https://www.paddlepaddle.org.cn/documentation/docs/zh/guides/paddle_v3_features/paddle_ir_cn.html

【飞桨官网】

https://www.paddlepaddle.org.cn/

【企业合作入口】

https://paddle.wjx.cn/vm/m3sxpfF.aspx#