程序问答   发布时间:2022-06-01  发布网站:大佬教程  code.js-code.com
大佬教程收集整理的这篇文章主要介绍了Scrapy 有很多蜘蛛大佬教程大佬觉得挺不错的,现在分享给大家,也给大家做个参考。

如何解决Scrapy 有很多蜘蛛?

开发过程中遇到Scrapy 有很多蜘蛛的问题如何解决?下面主要结合日常开发的经验,给出你关于Scrapy 有很多蜘蛛的解决方法建议,希望对你解决Scrapy 有很多蜘蛛有所启发或帮助;

我有一个项目需要从不同站点抓取数据。示例:我抓取了站点 1,然后我检查了一些条件(检查 DB 等),如果这些条件成立,我需要为下一个站点运行另一个蜘蛛程序并传递在第一个站点上抓取的数据。哪种项目架构(蜘蛛和管道的组合)最适合这种情况?

解决方法

从 Scrapy 中的一个 Spider 发射另一个 Spider 是不可能的

我曾经有过这样的需求,我所做的是使用 ScrapyD,每当我需要启动另一个 Spider 时,我只是使用 requests.get('to_your_scrapyd:6800/schedule.json?project=project&spider=spider')scrapy.request 和新的蜘蛛会跑

大佬总结

以上是大佬教程为你收集整理的Scrapy 有很多蜘蛛全部内容,希望文章能够帮你解决Scrapy 有很多蜘蛛所遇到的程序开发问题。

如果觉得大佬教程网站内容还不错,欢迎将大佬教程推荐给程序员好友。

本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ:384754419,请注明来意。
标签: