##接上文
五、分发安装包
将 MySQL Jdbc 驱动包放置到 libs 和 runtime 目录下, 然后将整个 moonbox 安装目录拷贝到所有安装节点, 确保位置与主节点位置一致。
六、启动集群
在 master 节点执行
sbin/start-all.sh
七、停止集群
在 master 节点执行
sbin/stop-all.sh
八、检查集群是否成功启动
在 master 节点执行如下命令, 将会看到 MoonboxMaster 进程
jps | grep Moonbox
在 worker 节点执行如下命令, 将会看到 MoonboxWorker 进程
jps | grep Moonbox
在 worker 节点执行如下命令, 将会看到与配置文件对应个数的 SparkSubmit 进程
jps -m | grep Spark
使用 moonbox-cluster 命令查看集群信息
bin/moonbox-cluster workers
bin/moonbox-cluster apps
如果检查通过, 则集群启动成功, 即可参阅 examples 部分开始体验啦。 如果检查失败, 可通过查看 master 节点或者 worker 节点上 logs 目录下的日志进行问题排查。
本文转载自宜信技术学院网站。
原文链接:http://college.creditease.cn/detail/271
更多内容推荐
Druid 加载 Kafka 数据时通过控制台来提交一个 supervisor
在控制台中,单击 Submit supervisor 来打开一个 supervisor 对话框。
2021-08-07
3、Nginx 配置文件详解
2023-09-28
话题讨论|你知道集群、分布式、微服务区别吗?
你知道集群、分布式、微服务区别吗?
2021-07-01
MySQL 启动 apollo-adminservice 报错 Caused by: java.sql.SQLSyntaxErrorException: Unknown column 'serverconf0_.Cluster' in 'field list
在导入的 Apollo 配置开源项目中,启动主程序 ApolloApplication ,报出了一下错误:
2023-05-28
Databend 源码阅读系列(二):Query server 启动,Session 管理及请求处理
Databend-query server 的启动入口在 databend/src/binaries/query/main.rs 下,在初始化配置之后,它会创建一个 GlobalServices 和 server 关闭时负责处理 shutdown 逻辑的 shutdown_handle
2022-08-30
万字长文轻松彻底入门 spring,尚学堂 java 笔记,mybatis 面试题常问
ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现(Chubby是不开源的),它是集群的管理者,监视着集群中各个节点的状态根据节点提交的反馈进行下一步合理操作。最终,将简单易用的接口和性能高效、功能稳定的系
2021-10-26
1. 初识 docker
2023-09-30
3. Jenkins&Maven
2023-09-30
使用 Rancher Server 部署本地多借点 K8S 集群
本文来自RancherLabs微信公众号
手把手教你使用 RKE 快速部署 K8S 集群并部署 Rancher HA
本文来自RancherLabs微信公众号
如何基于 Jupyter notebook 搭建 Spark 集群开发环境
摘要:本文介绍如何基于Jupyter notebook搭建Spark集群开发环境。
2021-10-12
1、Nginx 概述及 web server 技术选型
2023-09-28
在 Spark Scala/Java 应用中调用 Python 脚本,会么?
摘要:本文将介绍如何在 Spark scala 程序中调用 Python 脚本,Spark java程序调用的过程也大体相同。
2022-01-13
Spark HistoryServer 日志解析 & 清理异常
线上集群在使用 Spark HistoryServer 出现过两类问题,一类问题是日志解析异常导致无法查看 Spark 作业执行记录,另一类问题是日志清理异常导致 Spark 作业写 HDFS 目录达到上限无法提交作业,针对这两类问题,我们对 Spark HistoryServer 源码展开了研究。
2021-01-08
2、nginx 下载安装以及命令使用
2023-09-28
【Nacos 源码之配置管理 八】客户端怎么获取服务端集群列表
在前面第六篇文章中,我们介绍了配置管服务端模块的ServerListService类;这个类作用是持有服务端集群列表信息,并且每隔一段时间就会去检查集群中的机器是否正常; ServerListService类获取集群列表方式是先获取本地文件配置,如果没有配置则检查是否配置
2022-10-08
海豚调度在 Kubernetes 体系中的技术实战
海豚调度是当前非常优秀的分布式易扩展的可视化工作流任务调度平台。
如何用 Spark 计算引擎执行 FATE 联邦学习任务?
FATE 1.5 LTS 版本支持使用 Spark 作为底层的计算引擎,本文将对其实现细节以及使用进行简单介绍,方便用户在实际的使用过程中进行调优或者排查错误。
12、nginx 应用之日志管理
2023-09-28
推荐阅读
强大好用的 shell:shell 命令
2023-11-13
7.Docker 进阶
2023-09-30
钱大妈生鲜如何利用 CCR 实现 Apache Doris 集群读写分离
数据湖仓2.Docker client
2023-09-30
Kafka 灵魂伴侣 Logi-KafkaManger(4) 之运维管控–集群运维 (数据迁移和集群)
2023-09-16
3 大方面升级华为云 CCE 集群体验,助力集群高效运维管理
2023-11-13
4.Docker 镜像
2023-09-30
电子书
大厂实战PPT下载
换一换 吉妙通 | 金山办公 移动端研发总监
Wally Yu | Chainlink Labs 中国区首席架构师
叶正盛 | NineData 创始人 &CEO
推荐阅读
强大好用的 shell:shell 命令
2023-11-13
7.Docker 进阶
2023-09-30
钱大妈生鲜如何利用 CCR 实现 Apache Doris 集群读写分离
数据湖仓2.Docker client
2023-09-30
Kafka 灵魂伴侣 Logi-KafkaManger(4) 之运维管控–集群运维 (数据迁移和集群)
2023-09-16
3 大方面升级华为云 CCE 集群体验,助力集群高效运维管理
2023-11-13
4.Docker 镜像
2023-09-30
评论