JavaScript   发布时间:2022-04-16  发布网站:大佬教程  code.js-code.com
大佬教程收集整理的这篇文章主要介绍了PhantomJS的承诺框架?大佬教程大佬觉得挺不错的,现在分享给大家,也给大家做个参考。
我是PhantomJS的新手.我想加载一个页面,删除它的链接,然后依次打开每个页面,一个一个,甚至每个请求之间延迟.我遇到麻烦让一个人开火,所以我想也许我可以使用承诺来解决这个问题,但我不认为节点库与Phantom一起工作.我到目前为止看到的每个例子都打开了一个页面,然后退出.

这就是我所得到的:@H_616_3@

var page = require('webpage').create();

page.open('http://example.com/secretpage',function(status) {
    console.log(status);
    if(status !== 'success') {
        console.log('Unable to access network');
    } else {
        var links = page.evaluate(function() {
            var nodes = [];
            var matches = document.querySELEctorAll('.profile > a');
            for(var i = 0; i < matches.length; ++i) {
                nodes.push(matches[i].href);
            }
            return nodes;
        });


        links.forEach(function(link) {
            console.log(link);
            page.open(link,function(status) { // <---- tries opening every page at once
                console.log(status);

                var name = page.evaluate(function() {
                    return document.getElementById('username').innerHTML;
                });

                console.log(Name);
                page.render('profiles/'+name + '.png');
            });
        });
    }
//    phantom.exit();
});

有没有办法按顺序打开每个链接?@H_616_3@

解决方法

对于这种典型情况,我使用 async.js,特别是队列 component.

这是一个非常基本的实现@H_616_3@

phantom.injectJs('async.js');

var q = async.queue(function (task,callBACk) {
    page.open(task.url,function(status) { // <---- tries opening every page at once
                if(status !== 'success') {
        console.log('Unable to open url > '+task.url);
    } else {
                console.log('opened '+task.url);
                //do whatever you want here ...
                    page.render(Date.now() + '.png');
                }           
                callBACk();
            });

},1);

// assign a callBACk
q.drain = function() {
    console.log('all urls have been processed');
    phantom.exit();
}

var page = require('webpage').create();

page.open('http://phantomjs.org/',function(status) {
    console.log(status);
    if(status !== 'success') {
        console.log('Unable to access network');
    } else {
        var links = page.evaluate(function() {
            var nodes = [];
            var matches = document.querySELEctorAll('a');
            for(var i = 0; i < matches.length; ++i) {
                nodes.push(matches[i].href);
            }
            return nodes;
        });

        links.forEach(function(link) {
                q.push({url: link},function (err) {
                    console.log('finished processing '+link);
                });
        });
    }   
});

URL被添加到队列中并且将被并行处理(达到并发限制,一个在这里).我重复使用相同的页面实例,但这不是强制性的.@H_616_3@

像过去我已经做过这样的爬虫了,我再给你两个建议:@H_616_3@

>不要加载图像以加快测试速度> href有时是相对的,所以先检查一下它是否是一个有效的url@H_616_3@

大佬总结

以上是大佬教程为你收集整理的PhantomJS的承诺框架?全部内容,希望文章能够帮你解决PhantomJS的承诺框架?所遇到的程序开发问题。

如果觉得大佬教程网站内容还不错,欢迎将大佬教程推荐给程序员好友。

本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ:384754419,请注明来意。