大佬教程收集整理的这篇文章主要介绍了学习一下golang 练习70 web crawler (网络爬虫),大佬教程大佬觉得挺不错的,现在分享给大家,也给大家做个参考。
之前找了有下web crawler的练习答案. 貌似中文的不多。另外golang.org自从在外面之后,帐前卒每次上都需要到那里都要花些功夫。国内的也有一个移植的(猛击这里)。
最近支付宝的@L_675_4@也被爬虫爆出来了。不过这应该很久之前的事情了。因为看到了google的搜索,还有2012年8月份的。估计上支付宝那个shenghuo.alipay.com这个domain自从上线就没有加robots.txt. 有兴趣的可以在google上使用 site:shenghuo.alipay.com or 查看 shenghuo.alipay.com/robots.txt.
言归正传,golang的问题是这样的:
package main import ( "fmt" ) type Fetcher interface { // Fetch 返回 URL 的 body 内容,并且将在这个@L_675_4@上找到的 URL 放到一个 slice 中。 Fetch(url String) (body String,urls []String,err error) } // Crawl 使用 fetcher 从某个 URL 开始递归的爬取@L_675_4@,直到达到最大深度。 func Crawl(url String,depth int,fetcher Fetcher) { // TODO: 并行的抓取 URL。 // TODO: 不重复抓取@L_675_4@。 // 下面并没有实现上面两种情况: if Depth <= 0 { return } body,urls,err := fetcher.Fetch(url) if err != nil { fmt.Println(err) return } fmt.Printf("found: %s %q\n",url,body) for _,u := range urls { Crawl(u,depth-1,fetcher) } return } func main() { Crawl("http://golang.org/",4,fetcher) } // fakeFetcher 是返回若干结果的 Fetcher。 type fakeFetcher map[String]*fakeResult type fakeResult struct { body String urls []String } func (f *fakeFetcher) Fetch(url String) (String,[]String,error) { if res,ok := (*f)[url]; ok { return res.body,reS.Urls,nil } return "",nil,fmt.Errorf("not found: %s",url) } // fetcher 是填充后的 fakeFetcher。 var fetcher = &fakeFetcher{ "http://golang.org/": &fakeResult{ "The Go ProgrAMMing Language",[]String{ "http://golang.org/pkg/","http://golang.org/cmd/",},"http://golang.org/pkg/": &fakeResult{ "Packages",[]String{ "http://golang.org/","http://golang.org/pkg/fmt/","http://golang.org/pkg/os/","http://golang.org/pkg/fmt/": &fakeResult{ "Package fmt","http://golang.org/pkg/","http://golang.org/pkg/os/": &fakeResult{ "Package os",}
package main import ( "fmt" ) type Fetcher interface { // Fetch 返回 URL 的 body 内容,并且将在这个@L_675_4@上找到的 URL 放到一个 slice 中。 Fetch(url String) (body String,err error) } var lockx = make(chan int,1) // 同步通信使用 func LockFun(f func()) { lockx<-1 f() <-lockx } var visited map[String]bool = make(map[String]bool) // Crawl 使用 fetcher 从某个 URL 开始递归的爬取@L_675_4@,直到达到最大深度。 func Crawl(url String,fetcher Fetcher,bAnner chan int) { if Depth <= 0 || visited[url] { bAnner<-1 return } body,err := fetcher.Fetch(url) LockFun(func(){ visited[url]=true }) fmt.Printf("found: %s %q\n",body) if err != nil { fmt.Println(err) bAnner<-1 return } subBAnner := make(chan int,len(urls)) for _,u := range urls { // 并行吧~~ go Crawl(u,fetcher,subBAnner); } for i:=0; i < len(urls); i++ { // subBAnner用来防止退出 <-subBAnner } // bAnner用于让父节点退出 bAnner<-1 return } func main() { mainBAnner := make(chan int,1) Crawl("http://golang.org/",mainBAnner) <-mainBAnner } // fakeFetcher 是返回若干结果的 Fetcher。 type fakeFetcher map[String]*fakeResult type fakeResult struct { body String urls []String } func (f *fakeFetcher) Fetch(url String) (String,error) { if res,ok := (*f)[url]; ok { return res.body,nil } return "",url) } // fetcher 是填充后的 fakeFetcher。 var fetcher = &fakeFetcher{ "http://golang.org/": &fakeResult{ "The Go ProgrAMMing Language",[]String{ "http://golang.org/pkg/","http://golang.org/pkg/": &fakeResult{ "Packages",[]String{ "http://golang.org/","http://golang.org/pkg/fmt/": &fakeResult{ "Package fmt","http://golang.org/pkg/os/": &fakeResult{ "Package os",}
暂时就这样吧。
以上是大佬教程为你收集整理的学习一下golang 练习70 web crawler (网络爬虫)全部内容,希望文章能够帮你解决学习一下golang 练习70 web crawler (网络爬虫)所遇到的程序开发问题。
如果觉得大佬教程网站内容还不错,欢迎将大佬教程推荐给程序员好友。
本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ:384754419,请注明来意。