用Psyco让Python运行得像C一样快

By minitia, on 十一月 19th, 2009, Category: Programming, Python

Python 的设计在很多方面都类似于 Java 的设计。两者都利用了解释专门的伪编译字节码的虚拟机。JVM 比 Python 更高级的一个方面在于优化了字节码的执行。Psyco，一种 Python 专用编译器，帮助平衡了这一竞争。Psyco 现在是个外部模块，但是在将来的某一天它可能会包括到 Python 本身中去。只需极少量的额外编程，通常就可以使用 Psyco 将 Python 代码的速度提高好几个数量级。在本文中，David Mertz 研究了 Psyco 是什么，并在一些应用程序中对它进行了测试。

Python 对于您想让它做的事来说通常够快了。编程新手对于类似 Python 这样的解释型／字节编译型语言，将 90％的关注点集中在执行速度方面，是相当幼稚的。在最新的硬件上，大多数非优化的 Python 程序运行的速度和所需要达到的速度一样快，而且，花费额外的编程工作以使应用程序运行得更快实在没什么意义。

因此，在本文，我只对其它的百分之十感兴趣。有时，Python 程序（或用其它语言编写的程序）也会运行得极其缓慢。不同的目的所需要的改进差异很大；提高只运行几毫秒的任务的性能极少能引人注目，但是加快那些需运行几分钟、几小时、几天甚至几星期的任务的速度通常是很值得的。而且，应该注意到并不是所有任务运行缓慢的原因都是由 CPU 引起的。例如，如果完成一个数据库查询要花费几个小时，那么处理结果数据集要花费一分钟还是两分钟就没什么差别了。本文同样不讨论与 I/O 有关的问题。

有很多方法可以加速 Python 程序。每个程序员都应当想到的第一种技术就是改进所使用的算法和数据结构。对低效算法步骤进行细微的优化是徒劳无益的事情。例如，如果当前技术的复杂性等级是 O(n**2)，那么将这些步骤加速 10 倍远不及寻找 O(n) 替代品来得有用。即使在考虑用汇编语言重写算法这种极端情况时，这种思想也都适用：Python 中正确的算法通常会比手工调优的汇编语言中的错误算法快得多。

第二种您应当首先考虑的技术是概要分析您的 Python 应用程序，要着眼于将关键部分重写成 C 扩展模块。使用像 SWIG 这样的扩展封装器（请参阅参考资料），可以创建 C 扩展，它将程序中最耗时元素作为 C 代码执行。以这种方式扩展 Python 相对简单，但要花些时间学习（并且需要了解 C 的知识）。您经常会发现执行 Python 应用程序所花费的时间绝大部分只是花在了几个函数上，因此，采用这种扩展可能会有很可观的“成果”。

第三种技术建立在第二种技术的基础之上。Greg Ewing 已经创建了名叫 Pyrex 的语言，该语言融合了 Python 和 C。特别地，要使用 Pyrex，需要用类似 Python 的语言编写函数，这种语言将类型声明添加到所选变量中。Pyrex（工具）将“.pyx”文件处理成“.c”扩展名的文件。一旦用 C 编译器进行了编译，就可以将这些 Pyrex（语言）模块导入常规的 Python 应用程序并使用。由于 Pyrex 使用的语法和 Python 本身的语法（包括循环、分支和异常语句、赋值方式、块缩进等等）几乎一样，因此 Pyrex 程序员不需要学会用 C 去编写扩展。而且，与直接用 C 编写扩展相比，Pyrex 允许在同一代码中更无缝地混合 C 级别的变量和 Python 级别的变量（对象）。

最后一种技术就是本文的主题。扩展模块 Psyco 可以插入 Python 解释器的内部，而且可以有选择性地用优化的机器代码去替换部分 Python 的解释型字节码。和所描述的其它技术不同，Psyco 是严格地在 Python 运行时进行操作的。也就是说，Python 源代码是通过 python 命令编译成字节码的，所用的方式和以前完全相同（除了为调用 Psyco 而添加的几个 import 语句和函数调用）。但是当 Python 解释器运行应用程序时，Psyco 会不时地检查，看是否能用一些专门的机器代码去替换常规的 Python 字节码操作。这种专门的编译和 Java 即时编译器所进行的操作非常类似（一般地说，至少是这样），并且是特定于体系结构的。到现在为止，Psyco 只可用于 i386 CPU 体系结构。Psyco 的妙处在于可以使用您一直在编写的 Python 代码（完全一样！），却可以让它运行得更快。

Psyco 是如何工作的

要完全理解 Psyco，您可能需要很好地掌握 Python 解释器的 eval_frame() 函数和 i386 汇编语言。遗憾的是，我自己不能对其中任何一项发表专家性的意见－但是我想我可以大致不差地概述 Psyco。

在常规的 Python 中， eval_frame() 函数是 Python 解释器的内循环。 eval_frame() 函数主要察看执行上下文中的当前字节码，并将控制向外切换到一个适合实现该字节码的函数。支持函数将做什么的具体细节通常取决于保存在内存中的各种 Python 对象的状态。简单点说，添加 Python 对象“2”和“3”和添加对象“5”和“6”会产生不同的结果，但是这两个操作都以类似的方式分派。

Psyco 用复合求值单元替代 eval_frame() 函数。Psyco 有几种方法可以用来改进 Python 所进行的操作。首先，Psyco 将操作编译成有点优化的机器码；由于机器码需要完成的工作和 Python 的分派函数所要做的事一样，所以其本身只有些许改进。而且，Psyco 编译中的“专门的”内容不仅仅是对 Python 字节码的选择，Psyco 也要对执行上下文中已知的变量值进行专门化。例如，在类似于下面的代码中，变量 x 在循环持续时间内是可知的：

x = 5
l = []
for i in range(1000):
l.append(x*i)

该段代码的优化版本不需要用“x 变量／对象的内容”乘每个 i ，与之相比，简单地用 5 乘以每个 i 所用的开销较少，省略了查找／间接引用这一步。

除为小型操作创建特定于 i386 的代码之外，Psyco 还高速缓存这个已编译的机器码以备今后重用。如果 Psyco 能够识别出特定的操作和早先所执行的（“专门化的”）操作一样，那么，它就能依靠这个高速缓存的代码而不需要再次编译代码段。这样就节省了一些时间。

但是，Psyco 中真正省时的原因在于 Psyco 将操作分成三个不同的级别。对于 Psyco，有“运行时”、“编译时”和“虚拟时”变量。Psyco 根据需要提高和降低变量的级别。运行时变量只是常规 Python 解释器处理的原始字节码和对象结构。一旦 Psyco 将操作编译成机器码，那么编译时变量就会在机器寄存器和可直接访问的内存位置中表示。

最有意思的级别是虚拟时变量。在内部，一个 Python 变量就是一个有许多成员组成的完整结构－即使当对象只代表一个整数时也是如此。Psyco 虚拟时变量代表了需要时可能会被构建的 Python 对象，但是这些对象的详细信息在它们成为 Python 对象之前是被忽略的。例如，考虑如下赋值：

x = 15 * (14 + (13 - (12 / 11)))

标准的 Python 会构建和破坏许多对象以计算这个值。构建一个完整的整数对象以保存 (12/11) 这个值；然后从临时对象的结构中“拉”出一个值并用它计算新的临时对象 (13-PyInt) 。而 Psyco 跳过这些对象，只计算这些值，因为它知道“如果需要”，可以从值创建一个对象。

” alt=”" height=”1″ width=”100%” />
” border=”0″ height=”6″ width=”8″ />” alt=”" height=”4″ width=”100%” />
<img src=’//www.ibm.com/developerworks/cn/linux/sdk/python/charm-28/index.html” rel=no-follow#main>回页首</A> 
<A>使用 Psyco</A>
解释 Psyco 相对比较困难，但是 使用Psyco 就非常容易了。基本上，其全部内容就是告诉 Psyco 模块哪个函数／方法要“专门化”。任何 Python 函数和类本身的代码都不需进行更改。 
有几种方法可以指定 Psyco 应该做什么。“猎枪（shotgun）”方法使得随处都可使用 Psyco 即时操作。要做到这点，把下列行置于模块顶端：import psyco ; psyco.jit() from psyco.classes import * 
第一行告诉 Psyco 对所有全局函数“发挥其