多个 aws ec2 实例导致与 s3 存储桶通信不佳

大佬教程收集整理的这篇文章主要介绍了多个 aws ec2 实例导致与 s3 存储桶通信不佳，大佬教程大佬觉得挺不错的，现在分享给大家，也给大家做个参考。

如何解决多个 aws ec2 实例导致与 s3 存储桶通信不佳？

开发过程中遇到多个 aws ec2 实例导致与 s3 存储桶通信不佳的问题如何解决？下面主要结合日常开发的经验，给出你关于多个 aws ec2 实例导致与 s3 存储桶通信不佳的解决方法建议，希望对你解决多个 aws ec2 实例导致与 s3 存储桶通信不佳有所启发或帮助；

我有一个总体 Bash 脚本，其中在脚本中执行了 3 个主要进程：

1. 启动一个 ec2 实例（比如 ec2-1），它将从私有 s3 存储桶（在同一区域：us-east-1）中提取数据并运行一些程序。
2. 启动一个 ec2 实例（比方说 ec2-2），它将从公共亚马逊 s3 存储桶（在同一区域：us-east-1）中提取数据并运行一些程序。
3. 启动一个 ec2 实例（比如 ec2-3），它​​将从私有 s3 存储桶（与 1 分开）中提取数据，但仍在区域：us-east-1）并运行一些程序。

为了确保每个单独的流程都能正常工作，我分别运行了它们。例如，在我的 bash 脚本中，我只会运行进程 1) 并确保它从头到尾完成。完成后，我会测试2），等待它完全运行，然后测试3）以确保完全运行。一切正常，并且一切正常。下载速度超过 25-30 MB/s，这是完美的，因为大量数据正在移入/移出 s3 存储桶。

现在我正处于尝试在同一个 Bash 脚本中同时运行 1、2 和 3 的阶段。注意：所有三个 ec2 实例都应该相互独立，因为它们都有自己唯一的实例 ID，但都在同一区域 (us-east-1)。但是，当我一次运行所有 3 个时，有些东西会导致 s3 存储桶的下载速度变得非常慢 - 从 ~ 25MB/s 到 1 kB/s，有时甚至完全停止。这很有趣，因为 1) 和 3) 从私有存储桶中提取数据，而 2) 从 Amazon 的公共 s3 存储桶中提取数据，但所有三个实例的下载速度都很慢/停止。我什至把三个ec2实例都增加到了m5dn.24xlarge，下载速度还是很差。

我还尝试运行 1)、2) 或 3) 的两个单独实例，但它们的执行速度也较慢。例如，如果我为两个单独的日期（具有两个单独的实例 ID）运行 1)，则与仅运行 1 的一个实例相比，速度会较低。

我的问题是：如何/为什么会发生这种情况？任何反馈/信息都会非常有帮助。

解决方法

大佬总结

以上是大佬教程为你收集整理的多个 aws ec2 实例导致与 s3 存储桶通信不佳全部内容，希望文章能够帮你解决多个 aws ec2 实例导致与 s3 存储桶通信不佳所遇到的程序开发问题。

如果觉得大佬教程网站内容还不错，欢迎将大佬教程推荐给程序员好友。

本图文内容来源于网友网络收集整理提供，作为学习参考使用，版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ：384754419，请注明来意。