程序问答   发布时间:2022-06-02  发布网站:大佬教程  code.js-code.com
大佬教程收集整理的这篇文章主要介绍了python 请求 403 被禁止,但它与查尔斯一起使用大佬教程大佬觉得挺不错的,现在分享给大家,也给大家做个参考。

如何解决python 请求 403 被禁止,但它与查尔斯一起使用?

开发过程中遇到python 请求 403 被禁止,但它与查尔斯一起使用的问题如何解决?下面主要结合日常开发的经验,给出你关于python 请求 403 被禁止,但它与查尔斯一起使用的解决方法建议,希望对你解决python 请求 403 被禁止,但它与查尔斯一起使用有所启发或帮助;
  • 我在使用 python 请求访问时收到 403 forbIDden 。
  • 但是,当我打开 Charles 代理时,它可以工作。
  • 当我打开 fiddler 时,我也得到 403。

我想知道为什么会这样。@H_801_11@

import requests



def get_test():
    # proxIEs = {'http': 'http://127.0.0.1:8888','https': 'http://127.0.0.1:8888'}
    proxIEs=None
    url = ""

    my_header={
        'accept': 'text/HTML,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9','accept-enCoding': 'gzip,deflate,br','accept-language': 'zh-CN,zh;q=0.9,en-US;q=0.8,en;q=0.7,ja;q=0.6,zh-HK;q=0.5','cache-control': 'max-age=0','sec-ch-ua': '" Not;A Brand";v="99","Google Chrome";v="91","Chromium";v="91"','sec-ch-ua-mobile': '?0','sec-fetch-dest': 'document','sec-fetch-mode': 'navigate','sec-fetch-site': 'none','sec-fetch-user': '?1','upgrade-insecure-requests': '1','user-agent': 'Mozilla/5.0 (windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML,like Gecko) Chrome/91.0.4472.124 Safari/537.36',}
    rsp = requests.get(url=url,headers=my_header)
    print(rsp)


if __name__ == '__main__':
    get_test()

解决方法

我尝试通过邮递员请求此页面,也得到了 403 forbidden 的结果。这个网站好像使用了 CloudFlare 的反机器人页面来反爬虫,这个很难自己解决。这就是 403 被禁止的原因。@H_801_11@

所以我尝试使用cloudcraper来解决这个问题:@H_801_11@

import cloudscraper

scraper = cloudscraper.create_scraper()
print(scraper.get("https://www.zolo.ca/").text)

但得到例外:@H_801_11@

cloudscraper.exceptions.CloudFlareChALLENgeError: Detected a CloudFlare version 2 Captcha chALLENge,This feature is not available in the opensource (freE) 
version.

看来开源(免费)版的cloudcraper解决不了这个问题,我也无能为力了。@H_801_11@

关于cloudcraper的更多细节可以看这个页面或者github:@H_801_11@

https://pypi.org/project/cloudscraper/@H_801_11@

https://github.com/VeNoMouS/cloudscraper@H_801_11@ ,

如果你急需抓取网站,可以试试SELEnium。 这个方法不够优雅,但肯定能胜任。@H_801_11@

大佬总结

以上是大佬教程为你收集整理的python 请求 403 被禁止,但它与查尔斯一起使用全部内容,希望文章能够帮你解决python 请求 403 被禁止,但它与查尔斯一起使用所遇到的程序开发问题。

如果觉得大佬教程网站内容还不错,欢迎将大佬教程推荐给程序员好友。

本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ:384754419,请注明来意。