程序笔记   发布时间:2022-07-11  发布网站:大佬教程  code.js-code.com
大佬教程收集整理的这篇文章主要介绍了scrapy-shell的使用大佬教程大佬觉得挺不错的,现在分享给大家,也给大家做个参考。

####

进入虚拟环境,里面安装了scrapy,

进入命令行,输入命令,scrapy sHell 'https://scrapy.org' --nolog,执行后,会自动将指定 url 的网页下载下来,

注意一点:不要在你的爬虫项目文件夹下面执行这个命令,会报错的,

会弹出交互页面,

然后你就可以使用response.xpath("//title")

类似这样的,来调试你的xpath,

####

下载完后,url 的内容保存在 response 的变量中response.bodyresponse.headersresponse.headers['Server']response.xpath() 使用 xpathresponse.css() 使用 css 语法选取内容

 

 

#####

大佬总结

以上是大佬教程为你收集整理的scrapy-shell的使用全部内容,希望文章能够帮你解决scrapy-shell的使用所遇到的程序开发问题。

如果觉得大佬教程网站内容还不错,欢迎将大佬教程推荐给程序员好友。

本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ:384754419,请注明来意。