怎么样来计算我用python所需要抓取网站的复杂程度？，python抓取,怎么样来计算我用pyth

怎么样来计算我用python所需要抓取网站的复杂程度？，python抓取,怎么样来计算我用pyth

怎么样来计算我用python所需要抓取网站的复杂程度？设想全网有N个网站，那么分析一下判重的复杂度就是N*log(N)，因为所有网页要遍历一次，而每次判重用set的话需要log(N)的复杂度。

为什么复杂度就是N*log(N)，求各位知乎大神指点下！！！

编橙之家文章，