爬虫练习【三方Pixiv】

大佬教程收集整理的这篇文章主要介绍了爬虫练习【三方Pixiv】，大佬教程大佬觉得挺不错的，现在分享给大家，也给大家做个参考。

网页链接 使用scrapy框架

class Huashi6Spider(scrapy.Spider):
    name = 'huashi6'
    allowed_domains = ['huashi6.com']
    mouth = 9

    base_url = 'https://rt.huashi6.com/front/works/rank_page?index={}&size=10&date=2021-{}-{}'
    start_urls = [f'https://rt.huashi6.com/front/works/rank_page?index={index}&size=10&date=2021-9-{day}' 
                  for day in range(1, 31)
                  for index in range(1, 6)]
    print(start_urls)

    def parse(self, responsE):
        # @R_616_10288@ct = @R_616_10288@ctor(responsE)
        item = items.ChuzhanItem()
        print('HI')
        # f = open('pickLinks.txt', 'a')
        text = response.text
        list = re.findall('path":"(.*?)","width', text)

        for li in list:
            url = 'https://img2.huashi6.com/' + li
            item['url'] = url
            yield item

版权声明：仅作学习交流用途，侵权立删

大佬总结

以上是大佬教程为你收集整理的爬虫练习【三方Pixiv】全部内容，希望文章能够帮你解决爬虫练习【三方Pixiv】所遇到的程序开发问题。

如果觉得大佬教程网站内容还不错，欢迎将大佬教程推荐给程序员好友。

本图文内容来源于网友网络收集整理提供，作为学习参考使用，版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ：384754419，请注明来意。