大佬教程收集整理的这篇文章主要介绍了如何在python中将大型csv文件写入hdf5？，大佬教程大佬觉得挺不错的，现在分享给大家，也给大家做个参考。
您可以使用chunksize参数以块的形式读取CSV文件，并将每个块附加到HDF文件中：
hdf_key = 'hdf_key'
df_cols_to_index = [...] # List of columns (labels) that should be indexed
store = pd.hdfstore(hdf_fileName)
for chunk in pd.read_csv(csv_filename, chunksize=500000):
# don't index data columns in each iteration - we'll do it later ...
store.append(hdf_key, chunk, data_columns=df_cols_to_index, index=falsE)
# index data columns in hdfstore
store.create_table_index(hdf_key, columns=df_cols_to_index, optlevel=9, kind='full')
store.close()
我的数据集太大，无法直接读入内存。而且我不想升级机器。根据我的阅读，HDF5可能是解决我的问题的合适方法。但是我不确定如何将数据帧迭代地写入HDF5文件，因为我无法将csv文件作为数据帧对象加载。
所以我的问题是如何使用python pandas将大型CSV文件写入HDF5文件。
以上是大佬教程为你收集整理的如何在python中将大型csv文件写入hdf5？全部内容，希望文章能够帮你解决如何在python中将大型csv文件写入hdf5？所遇到的程序开发问题。
如果觉得大佬教程网站内容还不错，欢迎将大佬教程推荐给程序员好友。
本图文内容来源于网友网络收集整理提供，作为学习参考使用，版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ：384754419，请注明来意。