将数据加载到 RAM 中以供 TensorFlow 中的许多训练会话使用

大佬教程收集整理的这篇文章主要介绍了将数据加载到 RAM 中以供 TensorFlow 中的许多训练会话使用，大佬教程大佬觉得挺不错的，现在分享给大家，也给大家做个参考。

如何解决将数据加载到 RAM 中以供 TensorFlow 中的许多训练会话使用？

开发过程中遇到将数据加载到 RAM 中以供 TensorFlow 中的许多训练会话使用的问题如何解决？下面主要结合日常开发的经验，给出你关于将数据加载到 RAM 中以供 TensorFlow 中的许多训练会话使用的解决方法建议，希望对你解决将数据加载到 RAM 中以供 TensorFlow 中的许多训练会话使用有所启发或帮助；

我在 Python 3.8 中使用 TensorFlow 2.2 和 Keras。

假设我有一些训练数据（约 100 GB，包含 2 GB 文件，总共约 50 个文件），我希望用它们来训练我的神经网络。现在我正在使用一次将几个文件加载到 RAM 中的生成器。例如，这是我的生成器，它定义了将训练数据集加载到 RAM 中：

# Configuring @R_197_9829@ning dataset
dataset_@R_197_9829@n = tf.data.Dataset.range(n_files_@R_197_9829@n).prefetch(n_batches_per_file * 10).interleave(
        @R_197_9829@nDataset,cycle_length=2,num_parallel_calls=2,deterministic=falsE).repeat()

现在，我启动的每个培训课程在系统上消耗大约 15 GB 的 RAM，而由于我有大约 200 GB 的 RAM，并发培训课程的数量限制为 ~10-12。

我想知道是否有办法将我所有的 100 GB 数据加载到 RAM 中，然后让所有培训课程共享已加载到 RAM 中的这些数据。我的意思是，单个训练课程不需要将数据加载到 RAM 中，因为它已经存在，因此我可以一次运行更多的训练课程，因为 RAM 不会用完。这有可能吗？

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）

大佬总结

以上是大佬教程为你收集整理的将数据加载到 RAM 中以供 TensorFlow 中的许多训练会话使用全部内容，希望文章能够帮你解决将数据加载到 RAM 中以供 TensorFlow 中的许多训练会话使用所遇到的程序开发问题。

如果觉得大佬教程网站内容还不错，欢迎将大佬教程推荐给程序员好友。

本图文内容来源于网友网络收集整理提供，作为学习参考使用，版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ：384754419，请注明来意。