大佬教程收集整理的这篇文章主要介绍了使用 Scrapy 提取显示在网站上的实时数据，大佬教程大佬觉得挺不错的，现在分享给大家，也给大家做个参考。
使用像https://www.interpol.int/How-we-work/Notices/View-Red-Notices这样的网站，我使用的是scrapy sHell，我想提取流通中的公共红色通知总数，在浏览器上显示为7596。当我在scrapy sHell上使用这个命令时：>
response.CSS('strong#@R_102_10586@lResults::text').get()
它返回结果 0。这就是 HTML 上显示的内容。我不明白为什么会返回这个，我该怎么做才能获得实际数字？
网站动态加载值并将其放置在带有 Javascript 的元素中。快速浏览网站的源代码告诉我们它是从这个 url 加载的：
https://ws-public.interpol.int/notices/v1/red
从技术上讲，您可以向它发出 http 请求并自己用 python 解析 JSON 结果。但是：当您抓取他们的网站或对其 API 进行逆向工程时，许多网站/组织不喜欢它，因此在您执行此操作时请注意。 （不要发送垃圾邮件或每秒请求数据等）。
许多网站实际上都有一个公共 API 来完成您想要做的事情。我相信我听说国际刑警组织也有。 （但我会把谷歌搜索留给你：p）。
以上是大佬教程为你收集整理的使用 Scrapy 提取显示在网站上的实时数据全部内容，希望文章能够帮你解决使用 Scrapy 提取显示在网站上的实时数据所遇到的程序开发问题。
如果觉得大佬教程网站内容还不错，欢迎将大佬教程推荐给程序员好友。
本图文内容来源于网友网络收集整理提供，作为学习参考使用，版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ：384754419，请注明来意。