Python greenlet实现原理和使用示例，pythongreenlet
Python greenlet实现原理和使用示例，pythongreenlet
最近开始研究Python的并行开发技术，包括多线程，多进程，协程等。逐步整理了网上的一些资料，今天整理了一下greenlet相关的资料。
并发处理的技术背景
并行化处理目前很受重视， 因为在很多时候，并行计算能大大的提高系统吞吐量，尤其在现在多核多处理器的时代， 所以像lisp这种古老的语言又被人们重新拿了起来， 函数式编程也越来越流行。 介绍一个python的并行处理的一个库： greenlet。 python 有一个非常有名的库叫做 stackless ，用来做并发处理， 主要是弄了个叫做tasklet的微线程的东西， 而greenlet 跟stackless的最大区别是， 他很轻量级？不够， 最大的区别是greenlet需要你自己来处理线程切换， 就是说，你需要自己指定现在执行哪个greenlet再执行哪个greenlet。
greenlet的实现机制
以前使用python开发web程序,一直使用的是fastcgi模式.然后每个进程中启动多个线程来进行请求处理.这里有一个问题就是需要保证每个请求响应时间都要特别短,不然只要多请求几次慢的就会让服务器拒绝服务,因为没有线程能够响应请求了.平时我们的服务上线都会进行性能测试的,所以正常情况没有太大问题.但是不可能所有场景都测试到.一旦出现就会让用户等好久没有响应.部分不可用导致全部不可用.后来转换到了coroutine,python 下的greenlet.所以对它的实现机制做了一个简单的了解.
每个greenlet都只是heap中的一个python object(PyGreenlet).所以对于一个进程你创建百万甚至千万个greenlet都没有问题.
typedef struct _greenlet {
PyObject_HEAD
char* stack_start;
char* stack_stop;
char* stack_copy;
intptr_t stack_saved;
struct _greenlet* stack_prev;
struct _greenlet* parent;
PyObject* run_info;
struct _frame* top_frame;
int recursion_depth;
PyObject* weakreflist;
PyObject* exc_type;
PyObject* exc_value;
PyObject* exc_traceback;
PyObject* dict;
} PyGreenlet;
每一个greenlet其实就是一个函数,以及保存这个函数执行时的上下文.对于函数来说上下文也就是其stack..同一个进程的所有的greenlets共用一个共同的操作系统分配的用户栈.所以同一时刻只能有栈数据不冲突的greenlet使用这个全局的栈.greenlet是通过stack_stop,stack_start来保存其stack的栈底和栈顶的,如果出现将要执行的greenlet的stack_stop和目前栈中的greenlet重叠的情况,就要把这些重叠的greenlet的栈中数据临时保存到heap中.保存的位置通过stack_copy和stack_saved来记录,以便恢复的时候从heap中拷贝回栈中stack_stop和stack_start的位置.不然就会出现其栈数据会被破坏的情况.所以应用程序创建的这些greenlet就是通过不断的拷贝数据到heap中或者从heap中拷贝到栈中来实现并发的.对于io型的应用程序使用coroutine真的非常舒服.
下面是greenlet的一个简单的栈空间模型(from greenlet.c)
A PyGreenlet is a range of C stack addresses that must be
saved and restored in such a way that the full range of the
stack contains valid data when we switch to it.
Stack layout for a greenlet:
| ^^^ |
| older data |
| |
stack_stop . |_______________|
. | |
. | greenlet data |
. | in stack |
. * |_______________| . . _____________ stack_copy + stack_saved
. | | | |
. | data | |greenlet data|
. | unrelated | | saved |
. | to | | in heap |
stack_start . | this | . . |_____________| stack_copy
| greenlet |
| |
| newer data |
| vvv |
下面是一段简单的greenlet代码.
from greenlet import greenlet
def test1():
print 12
gr2.switch()
print 34
def test2():
print 56
gr1.switch()
print 78
gr1 = greenlet(test1)
gr2 = greenlet(test2)
gr1.switch()
目前所讨论的协程，一般是编程语言提供支持的。目前我所知提供协程支持的语言包括python，lua，go，erlang, scala和rust。协程不同于线程的地方在于协程不是操作系统进行切换，而是由程序员编码进行切换的，也就是说切换是由程序员控制的，这样就没有了线程所谓的安全问题。
所有的协程都共享整个进程的上下文，这样协程间的交换也非常方便。
相对于第二种方案（I/O多路复用），使得使用协程写的程序将更加的直观，而不是将一个完整的流程拆分成多个管理的事件处理。协程的缺点可能是无法利用多核优势，不过，这个可以通过协程+进程的方式来解决。
协程可以用来处理并发来提高性能，也可以用来实现状态机来简化编程。我用的更多的是第二个。去年年底接触python，了解到了python的协程概念，后来通过pycon china2011接触到处理yield，greenlet也是一个协程方案，而且在我看来是更可用的一个方案，特别是用来处理状态机。
目前这一块已经基本完成，后面抽时间总结一下。
总结一下：
1）多进程能够利用多核优势，但是进程间通信比较麻烦，另外，进程数目的增加会使性能下降，进程切换的成本较高。程序流程复杂度相对I/O多路复用要低。
2）I/O多路复用是在一个进程内部处理多个逻辑流程，不用进行进程切换，性能较高，另外流程间共享信息简单。但是无法利用多核优势，另外，程序流程被事件处理切割成一个个小块，程序比较复杂，难于理解。
3）线程运行在一个进程内部，由操作系统调度，切换成本较低，另外，他们共享进程的虚拟地址空间，线程间共享信息简单。但是线程安全问题导致线程学习曲线陡峭，而且易出错。
4）协程有编程语言提供，由程序员控制进行切换，所以没有线程安全问题，可以用来处理状态机，并发请求等。但是无法利用多核优势。
上面的四种方案可以配合使用，我比较看好的是进程+协程的模式。
Python自身作为一门编程语言，它有多种实现。这里的实现指的是符合Python语言规范的Python解释程序以及标准库等。这些实现虽然实现的是同一种语言，但是彼此之间，特别是与CPython之间还是有些差别的。
下面分别列出几个主要的实现。
1.CPython：这是Python的官方版本，使用C语言实现，使用最为广泛，新的语言特性一般也最先出现在这里。
CPython实现会将源文件（py文件）转换成字节码文件（pyc文件），然后运行在Python虚拟机上。
2.J
ython：这是Python的Java实现，相比于CPython，它与Java语言之间的互操作性要远远高于CPython和C语言之间的互操作性。
在Python中可以直接使用Java代码库，这使得使用Python可以方便地为Java程序写测试代码，更进一步，可以在Python中使用Swing等图形库编写GUI程序。
Jython会将Python代码动态编译成Java字节码，然后在JVM上运行转换后的程序，这意味着此时Python程序与Java程序没有区别，只是源代码不一样。
在Python 中写一个类，像使用Java 类一样使用这个类是很容易的事情。
你甚至可以把Jython 脚本静态地编译为Java 字节码。
示例代码：fromjava.langimportSystemSystem.out.write('Hello World!
')
3.Python for .NET：它实质上是CPython实现的
.NET托管版本，它与.NET库和程序代码有很好的互操作性。4.
IronPython：不同于Python for .NET，它是Python的C#实现，并且它将Python代码编译成C#中间代码（与Jython类似），然后运行，它与.NET语言的互操作性也非常好。5.
PyPy：Python的Python实现版本，原理是这样的，PyPy运行在CPython（或者其它实现）之上，用户程序运行在PyPy之上。它的一个目标是成为Python语言自身的试验场，因为可以很容易地修改PyPy解释器的实现（因为它是使用Python写的）。6.
Stackless：CPython的一个局限就是每个Python函数调用都会产生一个C函数调用。这意味着同时产生的函数调用是有限制的，因此Python难以实现用户级的线程库和复杂递归应用。一旦超越这个限制，程序就会崩溃。Stackless的Python实现突破了这个限制，一个C栈帧可以拥有任意数量的Python栈帧。这样你就能够拥有几乎无穷的函数调用，并能支持巨大数量的线程。Stackless唯一的问题就是它要对现有的CPython解释器做重大修改。所以它几乎是一个独立的分支。另一个名为Greenlets的项目也支持微线程。它是一个标准的C扩展，因此不需要对标准Python解释器做任何修改。
下面的这篇文章对Stackless做了比较多的介绍，但是也比较难以读懂：
可爱的 Python：Python实现内幕
这个是很有意思，也简单的话题 。你可以使用twisted, 或者是socket, 实现。 如果想优美些可以用stackless，也可以用greenlet。
最简单的办法是使用内置的httpserver，通过多线程socketserver，和simplehttpserver实现简单的交互。
评论关闭