前言

今天带大家采集一个二次元图片网站, 里面漂亮的小姐姐层出不穷，图片的数据量也是比较大的, 来一睹为快吧! !

开发环境介绍：

python 3.6
pycharm
requests
parsel
os

爬虫案例数据采集一般步骤:

1. 找数据对应的链接地址@H_772_25@
2. 代码发送地址的请求@H_772_25@
3. 数据解析<解析我们要的数据>@H_772_25@
4. 数据保存(本地)@H_772_25@ @H_450_32@

   干货主要有：

   ① 200 多本 Python 电子书（和经典的书籍）应该有

   ② Python标准库资料（最全中文版）

   ③ 项目源码（四五十个有趣且可靠的练手项目及源码）

   @H_944_41@④ Python基础入门、爬虫、网络开发、大数据分析方面的视频（适合小白学习）

   ⑤ Python学习路线图（告别不入流的学习）

   

   1. 首先第一步，找到对应的链接地址

   因为是静态网页，所以数据很容易就找到了

   

    

   # url编码: 中文在请求和响应的时候转码, http协议默认不支持中文, 由 % 字母 数字
   request_address = f'https://www.jdlingyu.com/tag/%e5%b0%91%e5%a5%b3/page/{pagE}'
   # 代表浏览器身份标识
   headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'}

   2. 代码发送地址的请求

   response = requests.get(url=request_address, headers=headers)
   html_data = response.text  # 字符串 -- 正则
   print(html_data)

   请求一下，看看对不对

   

    

   3. 数据解析<解析我们要的数据> html数据, xpath

   SELEctor = parsel.SELEctor(html_data)  # 转换数据类型
   
   lis = SELEctor.xpath('//div[@id="post-list"]/ul/li')  # 所有相册的标签
   
   for li in lis:  # 一个一个操作相册标签对象
       pic_title = li.xpath('.//h2/a/text()').get()  # 相册标题
       pic_href = li.xpath('.//h2/a/@href').get()  # 相册地址
       print(pic_title, pic_href)

   

    

   4. 保存数据

   with open(f'img\{pic_titlE}\{pic_namE}', @H_981_135@mode='wb') as f:
       f.write(img_data)
       print('保存完成:', pic_Name)

   运行完整代码