大佬教程收集整理的这篇文章主要介绍了使用 python 从网站中提取链接，scrapy 不起作用，大佬教程大佬觉得挺不错的，现在分享给大家，也给大家做个参考。
我想从“https://www.theknot.com/marketplace/baysIDe-bowl-portland-me-1031451”抓取网站链接，并且我使用了正确的 xpath 代码，即 response.xpath("//a[@title='website']/@href").get()，但是抓取时显示空结果。
某些网站（实际上，许多）使用 Javascript 来生成内容。这就是为什么您需要始终检查源 HTML 代码的原因。
对于此页面，您会发现您需要的所有信息都在带有此文本 script 的 window.__INITIAL_STATE__ = 标记内。您需要获取此文本，然后您可以使用 json 模块来解析它：
import scrapy
import json
class TheknotSpider(scrapy.Spider):
name = 'theknot'
start_urls = ['https://www.theknot.com/marketplace/bayside-bowl-portland-me-1031451']
def parse(self,responsE):
initial_state_raw = response.xpath('//script[contains(.,"window.__INITIAL_STATE__ = ")]/text()').re_first(r'window\.__INITIAL_STATE__ = (\{.+?)$')
# with open('Samples/TheKnot.json','w',encoding='utf-8') as f:
# f.write(initial_state_raw)
initial_state = json.loads(initial_state_raw)
website = initial_state['vendor']['vendor']['displayWebsiteUrl']
print(websitE)
以上是大佬教程为你收集整理的使用 python 从网站中提取链接，scrapy 不起作用全部内容，希望文章能够帮你解决使用 python 从网站中提取链接，scrapy 不起作用所遇到的程序开发问题。
如果觉得大佬教程网站内容还不错，欢迎将大佬教程推荐给程序员好友。
本图文内容来源于网友网络收集整理提供，作为学习参考使用，版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ：384754419，请注明来意。