大佬教程收集整理的这篇文章主要介绍了Scrapy Python设置用户代理，大佬教程大佬觉得挺不错的，现在分享给大家，也给大家做个参考。
将您的user_ageNT行移至setTings.py文件，而不是scrapy.cfg文件中。setTings.py应该与items.py使用scrapy
startproject命令处于同一级别，在这种情况下，它应该类似于@H_561_3@myproject/setTings.py
我试图通过在项目配置文件中添加额外的一行来覆盖我的crawlspider的用户代理。这是代码：
[setTings]
default = myproject.setTings
user_ageNT = "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.36 (KHTML,like Gecko) Chrome/27.0.1453.93 Safari/537.36"
[deploy]
#url = http://localhost:6800/
project = myproject
但是，当我在自己的Web上运行搜寻器时，我注意到Spider不会选择我自定义的用户代理，而是默认的“ Scrapy / 0.18.2（+
http://scrapy.org）”。谁能解释我做错了什么。
注意：
（1）。当我尝试全局覆盖用户代理时，它可以工作：
scrapy crawl myproject.com -o output.csv -t csv -s user_ageNT="Mozilla...."
（2）。当我从配置文件中删除“ default = myproject.setTing”行并运行scrapy crawl
myproject.com时，它说“找不到蜘蛛..”，因此我觉得这种情况下不应删除默认设置。
非常感谢您的事先帮助。
以上是大佬教程为你收集整理的Scrapy Python设置用户代理全部内容，希望文章能够帮你解决Scrapy Python设置用户代理所遇到的程序开发问题。
如果觉得大佬教程网站内容还不错，欢迎将大佬教程推荐给程序员好友。
本图文内容来源于网友网络收集整理提供，作为学习参考使用，版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ：384754419，请注明来意。