Python   发布时间:2022-04-02  发布网站:大佬教程  code.js-code.com
大佬教程收集整理的这篇文章主要介绍了伤腰的Python爬虫案例,零基础必备实战教程大佬教程大佬觉得挺不错的,现在分享给大家,也给大家做个参考。

前言

今天带大家采集一个二次元图片网站, 里面漂亮的小姐姐层出不穷,图片的数据量也是比较大的, 来一睹为快吧! !

伤腰的Python爬虫案例,零基础必备实战教程

 

开发环境介绍:

python 3.6
pycharm
requests
parsel
os

爬虫案例数据采集一般步骤:

  1. 找数据对应的链接地址
  2. 代码发送地址的请求
  3. 数据解析<解析我们要的数据>
  4. 数据保存(本地)

干货主要有:

① 200 多本 Python 电子书(和经典的书籍)应该有

② Python标准库资料(最全中文版)

③ 项目源码(四五十个有趣且可靠的练手项目及源码)

④ Python基础入门、爬虫、网络开发、大数据分析方面的视频(适合小白学习)

⑤ Python学习路线图(告别不入流的学习)

伤腰的Python爬虫案例,零基础必备实战教程

1. 首先第一步,找到对应的链接地址

因为是静态网页,所以数据很容易就找到了

伤腰的Python爬虫案例,零基础必备实战教程

 

# url编码: 中文在请求和响应的时候转码, http协议默认不支持中文, 由 % 字母 数字
request_address = f'https://www.jdlingyu.com/tag/%e5%b0%91%e5%a5%b3/page/{pagE}'
# 代表浏览器身份标识
headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'}

2. 代码发送地址的请求

response = requests.get(url=request_address, headers=headers)
html_data = response.text  # 字符串 -- 正则
print(html_data)

请求一下,看看对不对

伤腰的Python爬虫案例,零基础必备实战教程

 

3. 数据解析<解析我们要的数据> html数据, xpath

SELEctor = parsel.SELEctor(html_data)  # 转换数据类型

lis = SELEctor.xpath('//div[@id="post-list"]/ul/li')  # 所有相册的标签

for li in lis:  # 一个一个操作相册标签对象
    pic_title = li.xpath('.//h2/a/text()').get()  # 相册标题
    pic_href = li.xpath('.//h2/a/@href').get()  # 相册地址
    print(pic_title, pic_href)

伤腰的Python爬虫案例,零基础必备实战教程

 

4. 保存数据

with open(f'img\{pic_titlE}\{pic_namE}', @H_165_135@mode='wb') as f:
    f.write(img_data)
    print('保存完成:', pic_Name)

运行完整代码

伤腰的Python爬虫案例,零基础必备实战教程

 

伤腰的Python爬虫案例,零基础必备实战教程

 

 

 

大佬总结

以上是大佬教程为你收集整理的伤腰的Python爬虫案例,零基础必备实战教程全部内容,希望文章能够帮你解决伤腰的Python爬虫案例,零基础必备实战教程所遇到的程序开发问题。

如果觉得大佬教程网站内容还不错,欢迎将大佬教程推荐给程序员好友。

本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ:384754419,请注明来意。
标签: