pyspider抓取时一下生成几千条链接爬取行不行？，pyspider几千条,如题，在on_start

pyspider抓取时一下生成几千条链接爬取行不行？，pyspider几千条,如题，在on_start

如题，在on_start()的时候直接调用key_word_rank_page()生成几千条链接，并调用self.crawl。在调试的时候没问题，但是实际运行的时候代码跑一会就不动了，数据库就没有数据写入了，taskdb库也看到这个工程的task条数没有增长

    @every(minutes=24 * 60)    def on_start(self):        self.key_word_rank_page()        pass                def key_word_rank_page(self):        i = 0; page 参数从0开始的        while i <= 3000:             keywordrank_url = "https://www.douban.com/more/getmore.html?page=%s&genreIds="%(i)            self.crawl(url=keywordrank_url, callback=self.process_keyword)                         i += 1;        pass

编橙之家文章，