程序问答   发布时间:2022-06-02  发布网站:大佬教程  code.js-code.com
大佬教程收集整理的这篇文章主要介绍了BeautifulSoup不等到页面完全加载大佬教程大佬觉得挺不错的,现在分享给大家,也给大家做个参考。

如何解决BeautifulSoup不等到页面完全加载?

开发过程中遇到BeautifulSoup不等到页面完全加载的问题如何解决?下面主要结合日常开发的经验,给出你关于BeautifulSoup不等到页面完全加载的解决方法建议,希望对你解决BeautifulSoup不等到页面完全加载有所启发或帮助;

如果要等待页面完全加载其数据,则应考虑使用硒,在您的情况下,它可能看起来像这样:

from bs4 import BeautifulSoup
from selenium.webdriver import Chrome
from selenium.webdriver.Chrome.options import Options

url = "<URL>"

Chrome_options = Options()  
Chrome_options.add_argument("--headless") # Opens the browser up in background

with Chrome(options=Chrome_options) as browser:
     browser.get(url)
     HTML = browser.page_source

page_soup = BeautifulSoup(HTML, 'HTML.parser')
containers = page_soup.findAll("div",{"class":"grID-item"})

解决方法

因此,在下面的代码中,我想打开一个公寓网站的网址并抓取该网页。唯一的问题是,Beautiful
Soup不会等到整个网页都呈现出来。直到将它们加载到页面上之前,这些公寓才会在html中呈现,这需要几秒钟的时间。我该如何解决?

from urllib.request import urlopen as uReq
from bs4 import BeautifulSoup as soup

my_url = 'https://xxxxx.com/properties/?sort=latest'

uClient = uReq(my_url)
page_html = uClient.read()
uClient.close()

 page_soup = soup(page_html,"html.parser")

 containers = page_soup.findAll("div",{"class":"grid-item"})
#len(containers) is empty since the contents haven't been loaded yet!

大佬总结

以上是大佬教程为你收集整理的BeautifulSoup不等到页面完全加载全部内容,希望文章能够帮你解决BeautifulSoup不等到页面完全加载所遇到的程序开发问题。

如果觉得大佬教程网站内容还不错,欢迎将大佬教程推荐给程序员好友。

本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ:384754419,请注明来意。
标签: