如何在Linux中拆分巨大的CSV文件？

大佬教程收集整理的这篇文章主要介绍了如何在Linux中拆分巨大的CSV文件？，大佬教程大佬觉得挺不错的，现在分享给大家，也给大家做个参考。

概述

我有60TB的数据驻留在12个csv文件中. 数据将加载到集群数据库中,其中加载过程是单线程的.为了提高我的负载性能,我需要从每个节点启动一个加载过程. 从这个角度来看,到目前为止一直很好.我最大的问题是如何分割这些数据？它是压缩的,每个csv文件有大约5TB的数据！我试过分裂,但需要太长时间！ 最简单但不是最快,最可能的方式是 unzip -p <zipfile> | split -C <siz

大佬总结

以上是大佬教程为你收集整理的如何在Linux中拆分巨大的CSV文件？全部内容，希望文章能够帮你解决如何在Linux中拆分巨大的CSV文件？所遇到的程序开发问题。

如果觉得大佬教程网站内容还不错，欢迎将大佬教程推荐给程序员好友。

本图文内容来源于网友网络收集整理提供，作为学习参考使用，版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ：384754419，请注明来意。