如何用不同的批量大小测量每个推理时间？ （在 CPU 上使用 PyTorch）

大佬教程收集整理的这篇文章主要介绍了如何用不同的批量大小测量每个推理时间？ （在 CPU 上使用 PyTorch），大佬教程大佬觉得挺不错的，现在分享给大家，也给大家做个参考。

如何解决如何用不同的批量大小测量每个推理时间？ （在 CPU 上使用 PyTorch）？

开发过程中遇到如何用不同的批量大小测量每个推理时间？ （在 CPU 上使用 PyTorch）的问题如何解决？下面主要结合日常开发的经验，给出你关于如何用不同的批量大小测量每个推理时间？ （在 CPU 上使用 PyTorch）的解决方法建议，希望对你解决如何用不同的批量大小测量每个推理时间？ （在 CPU 上使用 PyTorch）有所启发或帮助；

我有一个 PyTorch CNN 模型，我想测量不同批次大小的每次推理。 我一直在寻找解决方案，我试过使用：

• torch.profile() ：它只给出每批输入数据的整个推理的平均时间。
• thop ：我用来测量模型的 mac 计算次数，但没有用于推理时间。

有什么方法可以测量不同批次大小的每个推理时间？ 甚至对于任何批量大小？ （例如一批 32 个输入）

注意：推理代码：

...

BATCH_SIZE = 10

input = randn((BATCH_SIZE,1,100))
with torch.no_grad():
        model = torch.load("cnnModel.pth")
        model.eval()
#inference
        start = timeit.default_timer()
        model(input)
        end = timeit.default_timer() - start
        print("time %f ms" %end)

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）

大佬总结

以上是大佬教程为你收集整理的如何用不同的批量大小测量每个推理时间？ （在 CPU 上使用 PyTorch）全部内容，希望文章能够帮你解决如何用不同的批量大小测量每个推理时间？ （在 CPU 上使用 PyTorch）所遇到的程序开发问题。

如果觉得大佬教程网站内容还不错，欢迎将大佬教程推荐给程序员好友。

本图文内容来源于网友网络收集整理提供，作为学习参考使用，版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ：384754419，请注明来意。