大佬教程收集整理的这篇文章主要介绍了Scrapy 有很多蜘蛛,大佬教程大佬觉得挺不错的,现在分享给大家,也给大家做个参考。
我有一个项目需要从不同站点抓取数据。示例:我抓取了站点 1,然后我检查了一些条件(检查 DB 等),如果这些条件成立,我需要为下一个站点运行另一个蜘蛛程序并传递在第一个站点上抓取的数据。哪种项目架构(蜘蛛和管道的组合)最适合这种情况?
从 Scrapy 中的一个 Spider 发射另一个 Spider 是不可能的
我曾经有过这样的需求,我所做的是使用 ScrapyD
,每当我需要启动另一个 Spider 时,我只是使用 requests.get('to_your_scrapyd:6800/schedule.json?project=project&spider=spider')
或 scrapy.request
和新的蜘蛛会跑
以上是大佬教程为你收集整理的Scrapy 有很多蜘蛛全部内容,希望文章能够帮你解决Scrapy 有很多蜘蛛所遇到的程序开发问题。
如果觉得大佬教程网站内容还不错,欢迎将大佬教程推荐给程序员好友。
本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ:384754419,请注明来意。