可视化安装#
前提#
如果您希望通过可视化安装方式部署Spark,请按照本章节步骤安装。
Spark将要安装的机器需要通过机器管理添加到skylab中,如果您尚未添加,请参考:注册机器。
Spark可视化安装需要依赖Zookeeper,HDFS集群。Zookeeper用于支持Spark HA,HDFS集群用于存储历史数据。
Zookeeper安装部署请参考:Zookeeper 安装。
HDFS安装部署请参考:HDFS 安装。
安装#
点击Skylab顶栏中 自动部署 进入自动部署模块
点击自动部署模块侧栏中的Spark大数据组件
点击右侧页面中的新建Spark集群按钮
选择安装服务节点,主节点可选多个,计算节点至少3个,历史节点1个
选择Zookeeper集群,如果没有Zookeeper集群,请参照Zookeeper 安装。
选择HDFS集群,如果没有HDFS集群,HDFS 安装。点击下一步
修改配置
部署确认
检查状态#
安装完成查看服务列表,检查所有角色状态是否正常
常见操作#
停止集群
启动集群
重启集群
刷新集群状态
查看部署日志
删除集群