大佬教程收集整理的这篇文章主要介绍了Force my scrapy spider to stop crawling，大佬教程大佬觉得挺不错的，现在分享给大家，也给大家做个参考。
在GitHub上可用的最新版本的Scrapy中，你可以引发CloseSpIDer异常以手动关闭蜘蛛。
在0.14版本说明文档中提到了文档：“添加了CloseSpIDer异常以手动关闭蜘蛛（r2691）”
根据文档的示例：
def parse_page(self, responsE):
if 'BanDWIDth exceeded' in response.body:
raise CloseSpIDer('banDWIDth_exceeded')
如果条件为true（例如scrap_item_id == predefine_value），则有机会停止爬网。我的问题与Scrapy类似-如何识别已经被抓取的网址，但是我想在发现最后一个被抓取的物品后“强迫”我的抓取spider停止爬行。
以上是大佬教程为你收集整理的Force my scrapy spider to stop crawling全部内容，希望文章能够帮你解决Force my scrapy spider to stop crawling所遇到的程序开发问题。
如果觉得大佬教程网站内容还不错，欢迎将大佬教程推荐给程序员好友。
本图文内容来源于网友网络收集整理提供，作为学习参考使用，版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ：384754419，请注明来意。