分类导航

程序问答发布时间：2022-06-02 发布网站：大佬教程 code.js-code.com

大佬教程收集整理的这篇文章主要介绍了如何在“可变”大小的 Python 中构建大型数据集？，大佬教程大佬觉得挺不错的，现在分享给大家，也给大家做个参考。

如何解决如何在“可变”大小的 Python 中构建大型数据集？？

开发过程中遇到如何在“可变”大小的 Python 中构建大型数据集？的问题如何解决？下面主要结合日常开发的经验，给出你关于如何在“可变”大小的 Python 中构建大型数据集？的解决方法建议，希望对你解决如何在“可变”大小的 Python 中构建大型数据集？有所启发或帮助；

我目前正在从磁盘上的多个文件导入多个大型数据集，但由于每个数据集的大小（例如每个 2MM+ 行），我的 Python 代码不断崩溃。

我正在尝试从数据集的每一行中捕获多个项目，目前，在 for 循环中遍历每个项目，并将它们嵌套在字典/列表中。

正如我所说，磁盘上有 10 个文件，每个文件大约有 2MM 行。在每一行中，我捕获一列 (X)、一列 (Y) 和一个“变量列”，其中可以包含 1 到 10 个不同变量 (z)。

我目前的数据集结构如下：

full_dataset = {
    file_name_1: { 0: [X,Y,[Z1,Z2,Z3]]
                   1: [X,Z2]]
                   2: [X,Z3,Z4,Z5]]
                 },file_name_2: ...
}

如您所见，完整的数据集是一个字典。其中有 10 个键值对，其中键是文件名，值是嵌套字典。在那些字典中，键只是一个计数器 0,...,n，值是一个包含 X、Y 和 Z 的列表。

我想过创建一个 Pandas 数据框，但我不确定这是否可行 (a) 因为第三个元素 (z) 的大小可变，以及 (b) 因为我读到不断追加行/更新pandas Dataframe 的效率非常低，当我在 for 循环中遍历这些行时，我必须这样做。

代码如下：

@R_953_10586@l_Dict = {}
for filename in os.Listdir(dir):
    # Get data from file here
    #########################################
    
    # Create sets to hold the data
    temp_records = {}
    for row in temp_file:
        # Get the data from the row record
        X = row["X"]
        Y = row["Y"]
        Z = row["Z"]
        temp_records[len(temp_records)] = [X,Z]
        
    # Append the record to the overall data structure
    @R_953_10586@l_Dict[filename] = temp_records

    del temp_records

有没有人处理过这个问题/有什么建议？