命令式编程 vs 符号式编程

重点

在深度学习框架的讨论中，命令式编程与符号式编程的界限有时并不那么泾渭分明。一个有趣的例子是CXXNet和Caffe这类框架，它们依赖于配置文件来定义模型。如果我们把这份配置文件本身看作是计算图的定义，那么它们也可以被归入符号式编程的范畴。这提醒我们，分类的关键在于核心思想，而非具体的实现形式。

源

源网址

什么是symbolic/imperative style编程

如果你用过Python或C++，那么你对命令式编程应该不会陌生。这种风格的代码，其核心特点是“运行时计算”——代码写到哪里，计算就执行到哪里。我们日常编写的大部分Python脚本都属于这一类。来看一个简单的例子：

import numpy as np
a = np.ones(10)
b = np.ones(10) * 2
c = b * a
d = c + 1

当程序执行到 c = b * a 这一行时，乘法运算会立刻发生，计算出具体的数值并赋值给变量c。

符号式编程则走了另一条路。在这种范式下，你需要先定义一个计算过程（这个定义可能相当复杂），但在定义时，并不会进行实际的数值计算。这个定义中使用的是抽象的“占位符”。只有当你提供了真实的输入数据，并触发“编译”步骤后，整个函数才会被真正执行。用符号式风格重写上面的例子，大概是这样的：

A = Variable('A')
B = Variable('B')
C = B * A
D = C + Constant(1)
# 编译这个函数
f = compile(D)
d = f(A=np.ones(10), B=np.ones(10)*2)

注意，这里的语句 C = B * A 并不会触发数值计算，它只是在内存中构建了一个描述计算步骤的“图”，我们称之为计算图或符号图。下图展示了计算D所对应的计算图结构：

绝大多数符号式程序都显式或隐式地包含一个“编译”步骤，目的就是将这张计算图转换成可以被高效调用的函数。在上面的例子里，真正的数值计算直到最后一行调用f()时才发生。这种“先定义，后编译执行”的两阶段过程，是符号式编程的一个鲜明特征。在神经网络领域，这张计算图通常就用来描述整个模型的结构。

放眼主流框架，Torch、Chainer、Minerva 采用了命令式风格。而 Theano、CGT、TensorFlow 则是符号式风格的代表。至于CXXNet/Caffe这类依赖配置文件的框架，如前所述，也可以被视作符号式风格，因为配置文件在这里扮演了计算图定义的角色。接下来，我们深入对比一下这两种风格的优劣。

命令式编程更加灵活

用Python调用命令式风格的库非常直观，感觉就像在写普通的Python代码，只不过在需要加速的地方调用了库函数。但如果用Python去调用符号式风格的库，代码的写法就得变一变了。一个常见的挑战是：某些控制流结构（比如循环）可能无法直接使用。试着把下面这段命令式代码转换成符号式风格看看：

a = 2
b = a + 1
d = np.zeros(10)
for i in range(d):
    d += np.zeros(10)

如果符号式API不支持原生的for循环，这个转换就不会那么直接。这意味着，你不能完全用写Python的思维去调用符号式库，而必须使用框架提供的特定领域语言来构建计算图。这套DSL功能通常很强大，足以描述复杂的神经网络。

直观感受上，命令式程序更符合我们的编程习惯，用起来也更简单直接。比如，你可以在任何地方打印出变量的值进行调试，也可以随心所欲地使用if-else、for循环这些熟悉的控制语句。

符号式编程更加有效

既然命令式程序如此灵活，更贴近计算机的原生语言模式，那为什么还有那么多深度学习框架选择符号式风格呢？答案的核心在于效率——包括内存效率和计算效率。

让我们回到最初那个简单的计算例子：

import numpy as np
a = np.ones(10)
b = np.ones(10) * 2
c = b * a
d = c + 1
...

假设每个数组元素占8字节，在Python的命令式程序中，需要多少内存？答案是，每一行执行时，都需要为新的结果分配内存。四个长度为10的数组，总共就是 $4\ast 10\ast 8=320$ 字节。

但如果事先知道我们最终只需要结果d，事情就不同了。在构建符号计算图时，系统可以提前规划，安全地复用中间变量的内存空间。例如，通过原址计算，可以把存放b结果的内存，直接拿来存放c；同理，c的内存又可以给d用。这样一来，只需要两个数组的内存，即 $2\ast 10\ast 8=160$ 字节，比之前节省了一半。

当然，这种高效是有代价的。符号式程序的限制更多。因为系统知道我们只需要d，在优化过程中，像c这样的中间变量的值，在计算完成后可能就无法访问了。而命令式程序则灵活得多，在执行过程中，任何一个中间变量都可以随时被访问和检查。

符号式编程的另一个优势是“操作融合”优化。在我们这个例子中，乘法和加法可以被融合成一个更大的操作，如下图所示：

如果在GPU上运行，融合后的计算图只需要启动一个内核，节省了一次内核启动的开销。实际上，在Caffe/CXXNet这类早期框架中，工程师们需要手动编写代码来实现类似的优化。而符号式程序可以在编译阶段自动完成操作融合，因为它掌握了完整的计算图，并且清楚地知道哪些值后续会被用到，哪些只是临时结果。

反观命令式程序，由于无法预知未来哪些中间变量会被访问，也就很难安全地进行这种全局的、激进的操作融合优化。这便是在灵活性与极致效率之间，开发者需要做出的权衡。