Python爬虫框架哪个最好用最简单，python爬虫框架,想使用python爬虫框

http://www.oschina.net/p/scrapy

scrapy 爬虫框架。纯python实现

scrapy是python里面比较好的爬虫框架。支持自定义Item，pipeline数据管道。在spider中可以指定domain,以及相应的Rule规则，支持xpath对DOM的解析等内容
而且scrapy还有自己的shell，可以在上面方便调试和查看结果。总之内容很多，功能很强大...

基本上scrapy做的已经非常完善了。不过不支持动态载入js解析js中的ajax请求。scrapyjs在此基础之上实现了模拟浏览器动态行为。

我写的这个配置文档
包括了Windows和CentOS 6.4下面的配置过程。可以作为一个参考。(不过有些库是我自己用到的，不一定需要安装..比如upyun...progressbar神马的)

via : stackoverflow

scrapy略重型了，如果自己写的话，可以用自带的urllib2，也可以用requests,解析可以使用lxml，BeautifulSoup，实现动态解析，还有splinter等框架，还可以用threading模块实现多线程，或者使用协程框架gevent。

自己写框架,
无外乎请求/渲染,解析,存储,队列任务,WebUI之类,
本人的框架可以干翻携程

神箭手云爬虫