Node.js
发布时间：2019-10-11 发布网站：大佬教程 code.js-code.com
大佬教程收集整理的这篇文章主要介绍了node实现的爬虫功能示例，大佬教程大佬觉得挺不错的，现在分享给大家，也给大家做个参考。
本文实例讲述了node实现的爬虫功能。分享给大家供大家参考，具体如下：
node是服务器端的语言，所以可以像python一样对网站进行爬取，下面就使用Node对博客园进行爬取，得到其中所有的章节信息。
第一步：
建立crawl文件，然后npm init。
第二步：
建立craw
l.js文件，一个简单的爬取整个页面的代码如下所示：
http =
require("
http"
);
var url = "
http://www.cnblog
s.com";
http.get(url,function (res)
{
var html = "";
re
s.on("data",function (data)
{
html += data;
}
);
re
s.on("end",function ()
{
console.log(html
);
}
);
})
.on("error",function ()
{
console.log("获取课程结果错误！"
);
}
);
即引入http模块，然后利用http对象的get请求，即一旦运行，相当于node服务器端发送了一个get请求请求这个页面，然后通过res返回，其中on绑定data事件用来不断地接受数据，最后end时我们就在后台打印出来。
这只是整个页面的一部分，我们可以在此页面审查元素，发现确实是一样的
我们只需要将其中的章节title和每一小节的信息爬到即可。
第三步：
引入cheerio模块，如下：（在gitbash中安装即可，cmd总是出问题）
这个模块的引入，就是为了方便我们操作dom，就像jQuery一样。
第四步：
操作dom，获取有用信息。
http =
require("
http"
);
var cheerio =
require("cheerio"
);
var url = "
http://www.cnblog
s.com";
function filterData(html)
{
var $ = cheerio.load(html
);
var items = $(".post_item"
);
var result = [];
item
s.each(function (item)
{
var tit = $(this).find(".
titlelnk").text(
);
var aut = $(this).find(".lightblue").text(
);
var one =
{
title: tit,author: aut
};
result.push(on
E);
}
);
return result;
}
function prin
Tinfos(allInfos)
{
allInfo
s.forEach(function (item)
{
console.log("文章题目 " + item["
title"] + '\n' + "文章作者 " + item["author"] + '\n'+ '\n'
);
}
);
}
http.get(url,function (data)
{
var allInfos = filterData(html
);
prin
Tinfos(allInfos
);
}
);
})
.on("error",function ()
{
console.log("爬取博客园首页失败")
}
);
即上面的过程就是在爬取博客的题目和作者。
最终后台输出如下：
这和博客园首页的内容是一致的：
希望本文所述对大家nodejs程序设计有所帮助。
大佬总结
以上是大佬教程为你收集整理的node实现的爬虫功能示例全部内容，希望文章能够帮你解决node实现的爬虫功能示例所遇到的程序开发问题。
如果觉得大佬教程网站内容还不错，欢迎将大佬教程推荐给程序员好友。
本图文内容来源于网友网络收集整理提供，作为学习参考使用，版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ：384754419，请注明来意。
