爬虫部署-2，基于Docker的Scrapy+Scrapyd+Scrapydweb部署

大佬教程收集整理的这篇文章主要介绍了爬虫部署-2，基于Docker的Scrapy+Scrapyd+Scrapydweb部署，大佬教程大佬觉得挺不错的，现在分享给大家，也给大家做个参考。

####

scrapy对接docker的思路，

###

涉及到四个部分，

Scrapy

Scrapyd

Scrapydweb

Docker

####

首先你思考一下，如果只有Scrapyd怎么docker部署？

1、把Scrapyd独立成为一个项目

1.1 编写Scrapyd的配置文件

新建一个scrapyd.conf文件，填写配置内容，默认使用官网上的就可以。

1.2 新建一个requirements

当前目录下有两个文件，一个是scrapyd的配置文件，另一个是pip下载模块的文件。

1.3 Dockerfile文件

FROM python:3.6
ADD . /code
WORKDIR /code
COPY ./scrapyd.conf /etc/scrapyd/
EXPOSE 6800
RUN pip3 install -r requirements.txt
CMD scrapyd

这个构建成为一个容器

然后启动容器，这个是可以直接访问到的，我们打开 http://localhost:6800 就能看到Scrapyd服务。

######

然后部署scrapydweb

2，把scrapydweb独立成为一个项目，

FROM python:3.6
ADD . /scrapydweb
WORKDIR /scrapydweb
COPY ./ .
EXPOSE 5000
RUN pip3 install -r requirements.txt
CMD scrapydweb

###

最后是容器编排的问题

docker-compose.yaml

前面两步只要能运行成功了，这一步就简单了，

####

#####

大佬总结

以上是大佬教程为你收集整理的爬虫部署-2，基于Docker的Scrapy+Scrapyd+Scrapydweb部署全部内容，希望文章能够帮你解决爬虫部署-2，基于Docker的Scrapy+Scrapyd+Scrapydweb部署所遇到的程序开发问题。

如果觉得大佬教程网站内容还不错，欢迎将大佬教程推荐给程序员好友。

本图文内容来源于网友网络收集整理提供，作为学习参考使用，版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ：384754419，请注明来意。