Running Scrapy spiders in a Celery task

大佬教程收集整理的这篇文章主要介绍了Running Scrapy spiders in a Celery task，大佬教程大佬觉得挺不错的，现在分享给大家，也给大家做个参考。

如何解决Running Scrapy spiders in a Celery task？

好的，这就是我如何使Scrapy与我的Django项目一起工作的，该项目使用Celery来排队要爬网的内容。实际的解决方法主要来自位于http://snippets.scrapy.org/snippets/13/的 joehillen的代码。

首先tasks.py文件

from celery import task

@task()
def crawl_domain(domain_pk):
    from crawl import domain_crawl
    return domain_crawl(domain_pk)

然后crawl.py文件

from multiprocessing import Process
from scrapy.crawler import CrawlerProcess
from scrapy.conf import setTings
from spIDer import DomainSpIDer
from models import Domain

class DomainCrawlerScript():

    def __init__(self):
        self.crawler = CrawlerProcess(setTings)
        self.crawler.install()
        self.crawler.configure()

    def _crawl(self, domain_pk):
        domain = Domain.objects.get(
            pk = domain_pk,
        )
        urls = []
        for page in domain.pages.all():
            urls.append(page.url())
        self.crawler.crawl(DomainSpIDer(urls))
        self.crawler.start()
        self.crawler.stop()

    def crawl(self, domain_pk):
        p = Process(target=self._crawl, args=[domain_pk])
        p.start()
        p.join()

crawler = DomainCrawlerScript()

def domain_crawl(domain_pk):
    crawler.crawl(domain_pk)

这里的窍门是“来自多处理导入过程”，它解决了Twisted框架中的“ ReactorNotRestartable”问题。因此，基本上Celery任务调用了“ domain_crawl”函数，该函数反复使用“ DomainCrawlerScript”对象来与Scrapy蜘蛛进行交互。（我知道我的示例有点多余，但是我这样做是出于我使用多个版本的python的原因[我的django Web服务器实际上正在使用python2.4，而我的工作服务器使用python2.7]）

在我的示例中，“ DomainSpIDer”只是一个经过修改的Scrapy SpIDer，它接收URL列表，然后将其设置为“ start_urls”。

解决方法

class StandAlonespider(Spider):
    #a regular spider

setTings.overrides['LOG_ENABLED'] = True
#more setTings can be changed...

crawler = CrawlerProcess( setTings )
crawler.install()
crawler.configure()

spider = StandAlonespider()

crawler.crawl( spider )
crawler.start()

大佬总结

以上是大佬教程为你收集整理的Running Scrapy spiders in a Celery task全部内容，希望文章能够帮你解决Running Scrapy spiders in a Celery task所遇到的程序开发问题。

如果觉得大佬教程网站内容还不错，欢迎将大佬教程推荐给程序员好友。

本图文内容来源于网友网络收集整理提供，作为学习参考使用，版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ：384754419，请注明来意。