我应该创建管道来保存草率文件吗？

大佬教程收集整理的这篇文章主要介绍了我应该创建管道来保存草率文件吗？，大佬教程大佬觉得挺不错的，现在分享给大家，也给大家做个参考。

如何解决我应该创建管道来保存草率文件吗？？

开发过程中遇到我应该创建管道来保存草率文件吗？的问题如何解决？下面主要结合日常开发的经验，给出你关于我应该创建管道来保存草率文件吗？的解决方法建议，希望对你解决我应该创建管道来保存草率文件吗？有所启发或帮助；

是和否[1]。如果您获取一个pdf文件，它将被存储在内存中，但是如果pdf文件的大小不足以填满您的可用内存，那就可以了。

您可以将pdf保存在SpIDer回调中：

@H_616_7@def parse_LisTing(self, responsE):
    # ... extract pdf urls
    for url in pdf_urls:
        yIEld request(url, callBACk=self.save_pdf)

def save_pdf(self, responsE):
    path = self.get_path(response.url)
    with open(path, "wb") as f:
        f.write(response.body)

如果选择在管道中执行此操作：

@H_616_7@# in the spIDer
def parse_pdf(self, responsE):
    i = MyItem()
    I['body'] = response.body
    I['url'] = response.url
    # you can add more Metadata to the item
    return i

# in your pipeline
def process_item(self, item, spIDer):
    path = self.get_path(item['url'])
    with open(path, "wb") as f:
        f.write(item['body'])
    # remove body and add path as reference
    del item['body']
    item['path'] = path
    # let item be processed by other pipelines. IE. db store
    return item

[1]另一种方法可能是仅存储pdf的url，并使用另一种方法来获取文档而不会缓冲到内存中。（例如@H_616_7@wget）

解决方法

大佬总结

以上是大佬教程为你收集整理的我应该创建管道来保存草率文件吗？全部内容，希望文章能够帮你解决我应该创建管道来保存草率文件吗？所遇到的程序开发问题。

如果觉得大佬教程网站内容还不错，欢迎将大佬教程推荐给程序员好友。

本图文内容来源于网友网络收集整理提供，作为学习参考使用，版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ：384754419，请注明来意。