Scrapy入门到放弃03：理解settings配置，监控Scrapy引擎

大佬教程收集整理的这篇文章主要介绍了Scrapy入门到放弃03：理解settings配置，监控Scrapy引擎，大佬教程大佬觉得挺不错的，现在分享给大家，也给大家做个参考。

前言

代码未动，配置先行。本篇文章主要讲述一下Scrapy中的配置文件setTings.py的参数含义，以及如何去获取一个爬虫程序的运行性能指标。

这篇文章无聊的一匹，没有代码，都是配置化的东西，但是呢不学还不行，属于Scrapy的枢纽，很关键。所以还请各位看官老爷耐得住这一章的寂寞。

setTings.py

在我们创建一个Scrapy项目的时候，就会在项目下生成四个py文件，其中就有一个SetTings.py。其中大大小小配置也是有大几十个，这里只讲一些比较常见的，其他的还请移步官方文档。

官文配置参数说明url： https://docs.scrapy.org/en/latest/topics/setTings.html

常见参数

下面也罗列了小几十个配置，大部分都其实使用默认值即可，最值得我们关注的，就是下面几个：

1. DOWNLOAD_DELAY
2. CONCURRENT_requESTS
3. CONCURRENT_requESTS_PER_DOMAIN
4. CONCURRENT_requESTS_PER_IP
5. SPIDER_MIDDLEWARES
6. DOWNLOADER_MIDDLEWARES
7. ITEM_PIPELInes

那么，为什么说SetTings是Scrapy的枢纽？

还记得我上篇文章画的架构图吗？还记得之前说过Scrapy的四大模块吗？每个模块在项目初始化时都是独立的，各个模块只有在SetTings配置之后，请求、响应、数据才会在模块间流转。这一部分对应上面提到的配置5、6、7。

配置具体说明，详看下文：

# Scrapy setTings for ScrapyDemo project

# 自动生成的配置，无需关注，不用修改
BOt_name = 'ScrapyDemo'
SPIDER_MODULES = ['ScrapyDemo.spiders']
NEWSPIDER_MODULE = 'ScrapyDemo.spiders'

# 设置UA，但不常用，一般都是在MiddleWare中添加
user_ageNT = 'ScrapyDemo (+http://www.yourdomain.com)'

# 遵循robots.txt中的爬虫规则，很多人喜欢false，当然我也喜欢....
ROBOTSTXT_OBEY = True

# 对网站并发请求总数，默认16
CONCURRENT_requESTS = 32

# 相同网站两个请求之间的间隔时间，默认是0s。相当于time.sleep()
DOWNLOAD_DELAY = 3
# 下面两个配置二选一，但其值不能大于CONCURRENT_requESTS，默认启用PER_DOMAIN
# 对网站每个域名的最大并发请求，默认8
CONCURRENT_requESTS_PER_DOMAIN = 16
# 默认0，对网站每个IP的最大并发请求，会覆盖上面PER_DOMAIN配置，
# 同时DOWNLOAD_DELAY也成了相同IP两个请求间的间隔了
CONCURRENT_requESTS_PER_IP = 16

# 禁用cookie，默认是True，启用
COOKIES_ENABLED = false

# 请求头设置，这里基本上不用
DEFAULT_requEST_HEADERS = {
#   'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
#   'Accept-Language': 'en',
#}

# 配置启用Spider MiddleWares，Key是class，Value是优先级
SPIDER_MIDDLEWARES = {
    'ScrapyDemo.middlewares.ScrapydemoSpiderMiddleware': 543,
}

# 配置启用Downloader MiddleWares

DOWNLOADER_MIDDLEWARES = {
    'ScrapyDemo.middlewares.ScrapydemoDownloaderMiddleware': 543,
}

# 配置并启用扩展，主要是一些状态监控
EXTENSIONS = {
    'scrapy.extensions.telnet.TelnetConsole': None,
}

# 配置启用Pipeline用来持久化数据
ITEM_PIPELInes = {
   'ScrapyDemo.pipelines.ScrapydemoPipeline': 300,
}

# 禁止控制台使用telnet连接scrapy获取状态，默认是启用。我们使用默认值即可
TELNETCONSOLE_ENABLED = false
# Telnet终端使用的端口范围。默认: [6023, 6073],如果设置为 None 或 0 ， 则使用动态分配的端口
# TELNETCONSOLE_PORT

# telnet账号，默认：scrapy
TELNETCONSOLE_USERNAME = None

# telnet密码：默认会自动生成一个密码
TELNETCONSOLE_password

# Telnet终端监听的接口(interfacE)。默认: '127.0.0.1'
TELNETCONSOLE_HOST = '127.0.0.1'


# AutoThrottle是限速节流算法
# 让爬虫程序自适应download_delay和concurrent并发
AUTOTHROTTLE_ENABLED = True
# 爬虫程序启动时，开始对网站发起请求的延迟
AUTOTHROTTLE_START_DELAY = 5
# 请求到响应的最大允许的延迟时间，必须大于download_delay
AUTOTHROTTLE_MAX_DELAY = 60
# 并行发送到每个远程服务器的平均请求数，小于CONCURRENT_requESTS_PER_DOMAIN和CONCURRENT_requESTS_PER_IP
AUTOTHROTTLE_TARGET_CONCURRENCY = 1.0
# 为每个响应启用显示限制统计信息
AUTOTHROTTLE_DEBUG = false

# httpCache主要是将每次的请求和响应缓存到本地，可以离线进行处理
# 配置启用http Cache，默认不启用
httpCACHE_ENABLED = True
# 缓存的过期时间，0为永不过期
httpCACHE_EXPIRATION_SECS = 0
# 缓存目录名称
httpCACHE_DIR = 'httpcache'
# 设置不需要缓存的状态码请求
httpCACHE_IGNORE_http_CODES = []
# 此类将缓存保存到本地文件系统，还可以使用其他类保存到数据库
httpCACHE_STORAGE = 'scrapy.extensions.httpcache.FilesystemCacheStorage'

@H_944_45@

    custom_setTings = {
        'DOWNLOAD_DELAY': 10
    }
@H_944_45@

scrapy crawl [spiderName] -s DOWNLOAD_DELAY=10
@H_944_45@

import scrapy

class DouLuoDaLuSpider(scrapy.Spider):
    name = 'DouLuoDaLu'
    allowed_domains = ['v.qq.com']
    start_urls = ['https://v.qq.com/detail/m/m441e3rjq9kwpsc.html']
    # 自定义配置
    custom_setTings = {
        'DOWNLOAD_DELAY': 10
    }

    def parse(self, responsE):
        # 获取配置
        delay = self.crawler.setTings.get('DOWNLOAD_DELAY')
        print(delay)
@H_944_45@

scrapy crawl DouLuoDaLu -s DOWNLOAD_DELAY=11
@H_944_45@

import scrapy
from scrapy import request

class DouLuoDaLuSpider(scrapy.Spider):
    name = 'DouLuoDaLu'
    allowed_domains = ['v.qq.com']
    start_urls = ['https://v.qq.com/detail/m/m441e3rjq9kwpsc.html']

    custom_setTings = {
        'DOWNLOAD_DELAY': 6,
        'CONCURRENT_requESTS': 32,
        'CONCURRENT_requESTS_PER_DOMAIN': 8,
        # 账号默认就是scrapy
        # 'TELNETCONSOLE_USERNAME' = 'scrapy'
        'TELNETCONSOLE_password': 'scrapy'
    }

    def start_requests(self):
        for i in range(0, 100):
            yield request(url=self.start_urls[0], callBACk=self.parse, dont_filter=TruE)

    def parse(self, responsE):
        for i in range(0, 10):
            yield request(url=self.start_urls[0], callBACk=self.parse, dont_filter=TruE)
@H_944_45@

# telnet终端监听端口配置为*TELNETCONSOLE_PORT*，默认为6023。
telnet localhost 6023
@H_944_45@

ENGIne.pause()
ENGIne.unpause()
ENGIne.stop()
@H_944_45@