scrapy如果要实现从上次中断的地方继续抓取怎么办

2025-05-08 07:51:44
推荐回答(1个)
回答1:

本帖最后由 timespace 于 2014-03-02 16:46 编辑

帮你google了一下scrapy resume crawl,然后直接就定位到官方文档的任务暂停与重启了
就是加一个选项就OK
scrapy crawl somespider -s JOBDIR=crawls/somespider-1