Parallel Python——一个简易的分布式计算系统

Parallel Python——一个简易的分布式计算系统

如何搭建一个快速的分布式计算平台？Parallel python提供了简易的方式来实现此目的。

Parallel Python（http://www.parallelpython.com/content/view/15/30/#QUICKCLUSTERS）是Python进行分布式计算的开源模块，能够将计算压力分布到多核CPU或集群的多台计算机上，能够非常方便的在内网中搭建一个自组织的分布式计算平台。

在不同节点运行服务器程序，并自动发现运行服务器的节点，命令如下：

node-1> ./ppserver.py -a

node-2> ./ppserver.py -a

node-3> ./ppserver.py -a

客户端

import pp

ppservers=("*",) #自动发现模式

job_server = pp.Server(ppservers=ppservers)

提交执行的任务

f1 = job_server.submit(func1, args1, depfuncs1, modules1)

f2 = job_server.submit(func1, args2, depfuncs1, modules1)

f3 = job_server.submit(func2, args3, depfuncs2, modules2)

检索结果

r1 = f1()

r2 = f2()

r3 = f3()