大佬教程收集整理的这篇文章主要介绍了【Python】纯干货,5000字的博文教你采集整站小说(附源码),大佬教程大佬觉得挺不错的,现在分享给大家,也给大家做个参考。
目录@H_675_4@
前言@H_675_4@
开始@H_675_4@
分析(x0)@H_675_4@
分析(x1)@H_675_4@
分析(x2) @H_675_4@
分析(x3)@H_675_4@
分析(x4)@H_675_4@
完整的代码@H_675_4@
我有话说@H_675_4@
大家好我叫善念c;这是我的第二篇技术博文(第一篇讲述的是自己的经历)c;连续三天更新了c;每天花两小时写下一个实战案例c;我也是乐在其中c;谢谢大家对我的支持。@H_675_4@
今天咱们要做的是利用Python爬取整个网站上的所有小说内容c;其实在我心里面c;采集什么内容根本无关紧要c;最重要的是大家能学习到我的分析思路c;授人以鱼不如授人以渔。@H_675_4@
既然是要采集整站数据c;那么我们进入目标网站c;点击全部作品。@H_675_4@
@H_675_4@
第一步右键一下查看网站源代码c;看里面是否有咱们需要的书本源头文件地址(当然是看源头文件地址c;因为一本书的内容这么大c;然后一页有这么多本书c;肯定不可能内容全部在源代码中)。@H_675_4@
可以看到我在元素中可以找到书的名字和介绍c;然后关键的是一个跳转的网址c;这个网址很关键c;因为咱们点击这个链接后他会跳到单本小说中。@H_675_4@
@H_675_4@
而单本小说里面势必会有章节分类c;而我们要做的肯定是需要把每本小说的章节名字也采集下来。@H_675_4@
最终的目的就是c;每本小说为一个文件夹c;以书的名字命名c;然后文件夹内保存所有章节c;每一个章节为一个txt文档c;没一个章节名与txt文件名对应。@H_675_4@
反转c;切记不要以element作为源代码去考虑问题!!element可能是浏览器执行了一些JavaScript后所展现的源码c;与服务器传给浏览器的源代码是有所不同的。@H_675_4@
所以咱们还是需要在源代码中找一找是否有跳转链接和书名。@H_675_4@
好吧c;源代码中也是有的。不过你们不能大意c;一定要查看源代码中是否有c;element代表不了源代码。@H_675_4@
# 抓取第一页的所有书籍名字c;书籍入口
# 到了书籍入口后c;抓取章节名字c;章节链接(文字内容)
# 保存
import requests
from lxml import etree
import os
url='https://www.qidian.com/all'
req = requests.get(url).text
html = etree.HTML(req)
booknames = html.xpath('//div[@class="book-mid-info"]/h4/a/text()')
tzurls = html.xpath('//div[@class="book-mid-info"]/h4/a/@href')
for bookname, tzurl in zip(booknames, tzurls):
if not os.path.exists(bookName):
# if os.path.exists(bookName) == false:
os.mkdir(bookName) # 创建文件夹
这里对应着咱们的思路c;每采集到一个书名就给它单独创建一个文件夹。@H_675_4@
@H_675_4@
完全没问题c;到这里咱们已经完成第一步了。@H_675_4@
难么接下来就是去模拟请求咱们采集到的书本目录的跳转链接c;然后同样的方法去采集到章节名与章节内容的跳转链接了。@H_675_4@
同样的你们自己查看下源代码c;数据也是在里面的。@H_675_4@
@H_675_4@
那就接着写代码咯@H_675_4@
import requests
from lxml import etree
import os
url = 'https://www.qidian.com/all'
req = requests.get(url).text
html = etree.HTML(req)
booknames = html.xpath('//div[@class="book-mid-info"]/h4/a/text()')
tzurls = html.xpath('//div[@class="book-mid-info"]/h4/a/@href')
for bookname, tzurl in zip(booknames, tzurls):
if not os.path.exists(bookName):
# if os.path.exists(bookName) == false:
os.mkdir(bookName) # 创建文件夹
req2 = requests.get("http:" + tzurl).text
html1 = etree.HTML(req2)
zjurls = html1.xpath('//ul[@class="cf"]/li/a/@href')
zjnames = html1.xpath('//ul[@class="cf"]/li/a/text()')
for zjurl, zjname in zip(zjurls, zjnames):
print(zjname+'n'+zjurl)
效果图:@H_675_4@
知道这里为什么没有去把章节名字命名的txt文档保存在文件夹内嘛?@H_675_4@
因为咱们还没有获取到章节的内容呀c;是不是需要先把章节内容写到章节的txt里面c;然后再保存在文件夹内?@H_675_4@
当然这句解释是为了照顾新手。@H_675_4@
那么接下来采集章节内容c;方法什么的不讲了c; 一摸一样的c;章节内容同样在源代码中如上上图所示。@H_675_4@
每一个标签只保存一行内容c;那么就需要用到把采集到的所有内容都组合起来c;并用换行符隔开c;尽量保持文章格式。@H_675_4@
代码走起:@H_675_4@
import requests
from lxml import etree
import os
url = 'https://www.qidian.com/all'
req = requests.get(url).text
html = etree.HTML(req)
booknames = html.xpath('//div[@class="book-mid-info"]/h4/a/text()')
tzurls = html.xpath('//div[@class="book-mid-info"]/h4/a/@href')
for bookname, tzurl in zip(booknames, tzurls):
if not os.path.exists(bookName):
# if os.path.exists(bookName) == false:
os.mkdir(bookName) # 创建文件夹
req2 = requests.get("http:" + tzurl).text
html1 = etree.HTML(req2)
zjurls = html1.xpath('//ul[@class="cf"]/li/a/@href')
zjnames = html1.xpath('//ul[@class="cf"]/li/a/text()')
for zjurl, zjname in zip(zjurls, zjnames):
print(zjname+'n'+zjurl)
req3 = requests.get('http:' + zjurl).text
html2 = etree.HTML(req3)
nrs = html2.xpath('//div[@class="read-content j_ReadContent"]/p/text()') # 分散式内容
nr = 'n'.join(nrs)
file_name = bookname + "\" + zjname + ".txt"
print("正在抓取文章:" + file_name)
with open(file_name, 'a', encoding="utf-8") as f:
f.write(nr)
效果图:@H_675_4@
@H_675_4@
这里要说明一下c;咱们还只是抓取了第一页的数据。那么如何抓取整站的数据呢?@H_675_4@
一般稍微有经验的都知道一点c;就是当我们翻页的时候c;网站的url会发生变化c;页码一般就是在url上面。@H_675_4@
构建个for循环把页码数变为一个变量即可c;无需多言c;直接上最终的完整代码c;代码仅供参考c;你们最终可以自己去修改效果。@H_675_4@
import sys
import requests
from lxml import etree
import os
for i in range(sys.maxsizE):
url = f'https://www.qidian.com/all/page{i}/'
req = requests.get(url).text
html = etree.HTML(req)
booknames = html.xpath('//div[@class="book-mid-info"]/h4/a/text()')
tzurls = html.xpath('//div[@class="book-mid-info"]/h4/a/@href')
for bookname, tzurl in zip(booknames, tzurls):
if not os.path.exists(bookName):
# if os.path.exists(bookName) == false:
os.mkdir(bookName) # 创建文件夹
req2 = requests.get("http:" + tzurl).text
html1 = etree.HTML(req2)
zjurls = html1.xpath('//ul[@class="cf"]/li/a/@href')
zjnames = html1.xpath('//ul[@class="cf"]/li/a/text()')
for zjurl, zjname in zip(zjurls, zjnames):
print(zjname+'n'+zjurl)
req3 = requests.get('http:' + zjurl).text
html2 = etree.HTML(req3)
nrs = html2.xpath('//div[@class="read-content j_ReadContent"]/p/text()') # 分散式内容
nr = 'n'.join(nrs)
file_name = bookname + "\" + zjname + ".txt"
print("正在抓取文章:" + file_name)
with open(file_name, 'a', encoding="utf-8") as f:
f.write(nr)
——女朋友就是私有变量c;只有我这个类才能调用(纪念分手的第二周@H_675_4@
emmm本来以前是录制过视频教程的c;但是由于从上家公司离职后丢失了。在这里跟大伙说声抱歉。@H_675_4@
但是文章的话是现写的c;每篇文章我都会说的很细致c;所以花费的时间比较久c;一般都是两个小时以上c;每篇文章达到五千字左右。@H_675_4@
① 2000多本Python电子书(主流和经典的书籍应该都有了)@H_675_4@
② Python标准库资料(最全中文版)@H_675_4@
③ 项目源码(四五十个有趣且经典的练手项目及源码)@H_675_4@
④ Python基础入门、爬虫、web开发、大数据分析方面的视频(适合小白学习)@H_675_4@
⑤ Python学习路线图(告别不入流的学习)@H_675_4@
在我的Q。c;Q技术交流群里可以自助拿走c;如果在学习或工作中遇到了问题c;群里会有一些大神帮忙解答c;有时你闷头想一天c;不如别人的三言两语就醍醐灌顶c;群c;。号928946953。@H_675_4@
@H_675_4@
以上是大佬教程为你收集整理的【Python】纯干货,5000字的博文教你采集整站小说(附源码)全部内容,希望文章能够帮你解决【Python】纯干货,5000字的博文教你采集整站小说(附源码)所遇到的程序开发问题。
如果觉得大佬教程网站内容还不错,欢迎将大佬教程推荐给程序员好友。
本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ:384754419,请注明来意。