是python的scrapy框架,xpath中可否以插入正则表达式，scrapyxpath,想要爬取一个网站，这个网

文章由Byrx.net分享于2019-03-23 05:03:27评论（306）

是python的scrapy框架,xpath中可否以插入正则表达式，scrapyxpath,想要爬取一个网站，这个网


想要爬取一个网站，这个网站的不同网页的正文部分的xpath是不一样的，比如：
有个页面的正文部分是：//*[@id='postmessage_32199']
另一个是：//*[@id='postmessage_32153']
......
它们的格式是postmessage_xxxxx,x为数字。

我的问题是：xpath中可以使用用正则表达式吗？如果不能那怎么匹配这么多不同的xpath？

ps:我是用的是python的scrapy框架

提前感谢各位了。

你用 https://github.com/binux/pyspider 我就告诉你

//*[starts-with(@id, "postmessage_")]
或者
doc.xpath(r'//*[re:match(@id, "postmessage_\d+")]', namespaces={"re": "http://exslt.org/regular-expressions"})

编橙之家文章，

相关内容

评论关闭

最新python问答

python~HOT