Linux   发布时间:2022-04-01  发布网站:大佬教程  code.js-code.com
大佬教程收集整理的这篇文章主要介绍了linux – 在Spark sbin /文件夹中的stop-all.sh没有停止所有从属节点大佬教程大佬觉得挺不错的,现在分享给大家,也给大家做个参考。

概述

嗨我在独立模式下有一个Spark集群,即我的笔记本电脑中运行了一个Spark-master进程和三个Spark-slave进程(同一台机器中的Spark集群). 启动主服务器和从服务器只是运行Spark_Folder / sbin / start-master.sh和Spark_Folder / sbin / stop-master.sh中的脚本. 但是,当我运行Spark_Folder / sb
嗨我在独立模式下有一个Spark集群,即我的笔记本电脑中运行了一个Spark-master进程和三个Spark-slave进程(同一台机器中的Spark集群).

启动主服务器和从服务器只是运行Spark_Folder / sbin / start-master.sh和Spark_Folder / sbin / stop-master.sh中的脚本.

但是,当我运行Spark_Folder / sbin / stop-all.sh时,它只停止一个主服务器和一个服务器,因为我有三个从服务器正在运行,在运行stop-all.sh后我仍然有两个从服务器正在运行.

我深入研究了脚本“stop-slaves.sh”,发现如下:

if [ "$SPARK_WORKER_INSTANCES" = "" ]; then
  "$sbin"/spark-daemons.sh stop org.apache.spark.deploy.worker.Worker 1
else
  for ((i=0; i<$SPARK_WORKER_INSTANCES; i++)); do
    "$sbin"/spark-daemons.sh stop org.apache.spark.deploy.worker.Worker $(( $i + 1 ))
  done
fi

似乎此脚本基于“SPARK_WORKER_INSTANCES”号码停止.但是,如果我使用非数字名称启动奴隶怎么办?

还有什么想要通过一次点击关闭整个火花集群? (我知道运行“pkill -f spark *”会起作用)

非常感谢.

解决方法

我只是想出解决方案:

在“/usr/lib/spark/conf/spark-env.sh”中,添加一个额外的参数“SPARK_WORKER_INSTANCES = 3”(或从属实例的数量),然后运行“/usr/lib / spark / sbin / stop” -all.sh“并且所有实例都停止了.

但是,“stop-all.sh”仅适用于您开始使用数字的奴隶,例如:

/usr/lib/spark/sbin/start-slave.sh 1 spark://master-address:7077
/usr/lib/spark/sbin/start-slave.sh 2 spark://master-address:7077
/usr/lib/spark/sbin/start-slave.sh 3 spark://master-address:7077

如果你使用任意名称启动奴隶,那么“stop-all.sh”不起作用,例如:

/usr/lib/spark/sbin/start-slave.sh myWorer1 spark://master-address:7077
/usr/lib/spark/sbin/start-slave.sh myWorer2 spark://master-address:7077
/usr/lib/spark/sbin/start-slave.sh myWorer3 spark://master-address:7077

大佬总结

以上是大佬教程为你收集整理的linux – 在Spark sbin /文件夹中的stop-all.sh没有停止所有从属节点全部内容,希望文章能够帮你解决linux – 在Spark sbin /文件夹中的stop-all.sh没有停止所有从属节点所遇到的程序开发问题。

如果觉得大佬教程网站内容还不错,欢迎将大佬教程推荐给程序员好友。

本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ:384754419,请注明来意。