程序问答   发布时间:2022-06-01  发布网站:大佬教程  code.js-code.com
大佬教程收集整理的这篇文章主要介绍了需要一种更有效的方法来从单个大型数据帧创建数据帧字典大佬教程大佬觉得挺不错的,现在分享给大家,也给大家做个参考。

如何解决需要一种更有效的方法来从单个大型数据帧创建数据帧字典?

开发过程中遇到需要一种更有效的方法来从单个大型数据帧创建数据帧字典的问题如何解决?下面主要结合日常开发的经验,给出你关于需要一种更有效的方法来从单个大型数据帧创建数据帧字典的解决方法建议,希望对你解决需要一种更有效的方法来从单个大型数据帧创建数据帧字典有所启发或帮助;

所以问题是我有一个大数据框(几百万行),我需要根据度量值(在 df 中可以有几千个唯一值)将它拆分成单独的 dfs,然后把所有将单个 dfs 放入字典中。@H_674_3@

数据如下:@H_674_3@

>>> df.sample(20)
Out[104]: 
                        time       mhi                 metric
1953310  2020-09-26 09:57:59  0.364575   100004_uf7-15_l14-40
5748967  2020-11-15 14:50:27  0.430073  100004_uf11-15_l10-45
3124709  2020-10-17 23:32:50  1.000000   100004_uf5-21_l26-40
2201278  2020-10-01 12:30:26  0.020645  100004_uf09-27_l26-46
5515393  2020-11-14 03:48:50  1.000000   100004_uf9-18_l26-35
1813859  2020-09-25 00:48:42  0.572557   100004_uf7-24_l10-40
1656151  2020-09-24 00:39:28  0.673656  100004_uf07-24_l32-42
4796411  2020-11-10 09:21:54  1.000000   100004_uf5-15_l22-30
92122    2020-07-06 07:20:37  1.000000   100004_uf5-21_l26-30
3690550  2020-10-25 23:40:57  0.268361  100004_uf09-18_l28-42
4946382  2020-11-11 01:58:22  1.000000   100004_uf5-18_l22-35
3899731  2020-11-01 11:48:08  1.000000   100004_uf7-15_l22-30
5996972  2020-11-17 10:55:22  1.000000  100004_uf07-21_l32-42
7471727  2021-01-01 11:52:45  1.000000  100004_uf07-27_l30-42
3669036  2020-10-25 20:10:33  1.000000   100004_uf5-21_l10-35
1166225  2020-09-17 11:58:21  1.000000   100004_uf7-15_l22-30
5832113  2020-11-16 02:52:32  0.349082  100004_uf07-21_l28-54
1458903  2020-09-21 21:04:32  0.524897  100004_uf07-18_l30-42
3094785  2020-10-17 15:46:02  1.000000   100004_uf5-24_l18-30
674615   2020-08-05 02:31:14  0.401657  100004_uf11-18_l34-46

我目前正在做的是:@H_674_3@

versions = df.metric.unique()
mhi_Dict = {ver: df.loc[df.metric == ver] for ver in versions}

但事实证明,这非常耗时,大约 1500 个独特版本平均需要超过 5 分钟。有没有办法以某种方式加快速度?@H_674_3@

解决方法

df_grouped = df.groupby('metric')
mhi_Dict = {}
for key in df_grouped.groups:
  group = df_grouped.get_group(key)
  mhi_Dict[key] = group

大佬总结

以上是大佬教程为你收集整理的需要一种更有效的方法来从单个大型数据帧创建数据帧字典全部内容,希望文章能够帮你解决需要一种更有效的方法来从单个大型数据帧创建数据帧字典所遇到的程序开发问题。

如果觉得大佬教程网站内容还不错,欢迎将大佬教程推荐给程序员好友。

本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ:384754419,请注明来意。
标签: