大佬教程收集整理的这篇文章主要介绍了Python爬虫实战,requests模块,Python实现抓取王者荣耀全套皮肤,大佬教程大佬觉得挺不错的,现在分享给大家,也给大家做个参考。
今天带大家爬取王者荣耀全套皮肤c;废话不多说c;直接开始~
Python版本: 3.6.4
相关模块:
requests模块;
urllib模块;
以及一些Python自带的模块。
安装Python并添加到环境变量c;pip安装需要的相关模块即可。
1、打开官方王者荣耀壁纸网站 网站地址:https://pvp.qq.com/web201605/wallpaper.shtml
2、快捷键F12c;调出控制台进行抓包
3、找到正确的链接并分析
4、查看返回数据格式
5、解析url链接
6、查看url内容是否是所需图片c;发现其实是缩略图
7、那就去分析网站c;随便点开一张壁纸c;查看指定格式的链接
8、找到目标地址
9、分析目标链接和缩略图的链接区别 缩略图:http://shp.qpic.cn/ishow/2735090714/1599460171_84828260_8311_sProdImgNo_6.jpg/200
目标图:http://shp.qpic.cn/ishow/2735090714/1599460171_84828260_8311_sProdImgNo_6.jpg/0
可以知道c;将指定格式的缩略图地址后面200替换成0就是目标真实图片
import os, time, requests, json, re
from retrying import retry
from urllib import parse
class HonorOfKings:
'''
This is a main Class, the file contains all documents.
One document contains paragraphs that have several sentences
It loads the original file and converts the original file to new content
Then the new content will be saved by this class
'''
def __init__(self, save_path='./heros'):
self.save_path = save_path
self.time = str(time.time()).split('.')
self.url = 'https://apps.game.qq.com/cgi-bin/ams/module/ishow/V1.0/query/workList_inc.cgi?activityId=2735&sVerifyCode=ABCD&sDataType=JSON&iListNum=20&@R_991_10586@lpage=0&page={}&iOrder=0&iSortNumClose=1&iAMSActivityId=51991&_everyRead=true&iTypEID=2&iFlowId=267733&iActId=2735&iModulEID=2735&_=%s' % self.time[0]
def Hello(self):
'''
This is a welcome speech
:return: self
'''
print("*" * 50)
print(' ' * 18 + '王者荣耀壁纸下载')
print(' ' * 5 + '作者: Felix Date: 2020-05-20 13:14')
print("*" * 50)
return self
def run(self):
'''
The program entry
'''
print('↓' * 20 + ' 格式选择: ' + '↓' * 20)
print('1.缩略图 2.1024x768 3.1280x720 4.1280x1024 5.1440x900 6.1920x1080 7.1920x1200 8.1920x1440')
size = input('请输入您想下载的格式序号c;默认6:')
size = size if size and int(size) in [1,2,3,4,5,6,7,8] else 6
print('---下载开始...')
page = 0
offset = 0
@R_991_10586@l_response = self.request(self.url.format(page)).text
@R_991_10586@l_res = json.loads(@R_991_10586@l_response)
@R_991_10586@l_page = --int(@R_991_10586@l_res['i@R_991_10586@lPages'])
print('---总共 {} 页...' . format(@R_991_10586@l_page))
while True:
if offset > @R_991_10586@l_page:
break
url = self.url.format(offset)
response = self.request(url).text
result = json.loads(response)
now = 0
for item in result["list"]:
now += 1
hero_name = parse.unquote(item['sProdName']).split('-')[0]
hero_name = re.sub(r'[【】:.<>|·@#$%^&() ]', '', hero_name)
print('---正在下载第 {} 页 {} 英雄 进度{}/{}...' . format(offset, hero_name, now, len(result["list"])))
hero_url = parse.unquote(item['sProdImgNo_{}'.format(str(size))])
save_path = self.save_path + '/' + hero_name
save_name = save_path + '/' + hero_url.split('/')[-2]
if not os.path.exists(save_path):
os.@H_576_96@makedirs(save_path)
if not os.path.exists(save_name):
with open(save_name, 'wb') as f:
response_content = self.request(hero_url.replace("/200", "/0")).content
f.write(response_content)
offset += 1
print('---下载完成...')
@retry(stop_max_attempt_number=3)
def request(self, url):
'''
Send a request
:param url: the url of request
:param timeout: the time of request
:return: the result of request
'''
response = requests.get(url, timeout=10)
assert response.status_code == 200
return response
if __name__ == "__main__":
HonorOfKings().Hello().run()
@H_361_801@
本期完整源代码可以私信获取
以上是大佬教程为你收集整理的Python爬虫实战,requests模块,Python实现抓取王者荣耀全套皮肤全部内容,希望文章能够帮你解决Python爬虫实战,requests模块,Python实现抓取王者荣耀全套皮肤所遇到的程序开发问题。
如果觉得大佬教程网站内容还不错,欢迎将大佬教程推荐给程序员好友。
本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ:384754419,请注明来意。