scrapy run spider from script

大佬教程收集整理的这篇文章主要介绍了scrapy run spider from script，大佬教程大佬觉得挺不错的，现在分享给大家，也给大家做个参考。

如何解决scrapy run spider from script？

开发过程中遇到scrapy run spider from script的问题如何解决？下面主要结合日常开发的经验，给出你关于scrapy run spider from script的解决方法建议，希望对你解决scrapy run spider from script有所启发或帮助；

只需检查官方文档即可。我会进行一些更改，以便你可以控制SpIDer仅在执行此操作时运行，python myscript.py而不是每次从其导入时都运行。只需添加一个if __name__ == "__main__"：

import scrapy
from scrapy.crawler import CrawlerProcess

class MySpIDer(scrapy.SpIDer):
    # Your spIDer deFinition
    pass

if __name__ == "__main__":
    process = CrawlerProcess({
        'user_ageNT': 'Mozilla/4.0 (compatible; MSIE 7.0; windows NT 5.1)'
    })

    process.crawl(MySpIDer)
    process.start() # the script will block here until the crawling is finished

现在将文件另存为，@H_998_3@myscript.py然后运行“ python myscript.py”。

解决方法

大佬总结

以上是大佬教程为你收集整理的scrapy run spider from script全部内容，希望文章能够帮你解决scrapy run spider from script所遇到的程序开发问题。

如果觉得大佬教程网站内容还不错，欢迎将大佬教程推荐给程序员好友。

本图文内容来源于网友网络收集整理提供，作为学习参考使用，版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ：384754419，请注明来意。