可视化安装

可视化安装#

前提#

如果您希望通过可视化安装方式部署Spark,请按照本章节步骤安装。

Spark将要安装的机器需要通过机器管理添加到skylab中,如果您尚未添加,请参考:注册机器

Spark可视化安装需要依赖Zookeeper,HDFS集群。Zookeeper用于支持Spark HA,HDFS集群用于存储历史数据。

Zookeeper安装部署请参考:Zookeeper 安装

HDFS安装部署请参考:HDFS 安装

安装#

  1. 点击Skylab顶栏中 自动部署 进入自动部署模块

    image

  2. 点击自动部署模块侧栏中的Spark大数据组件

  3. 点击右侧页面中的新建Spark集群按钮

    image

  4. 选择安装服务节点,主节点可选多个,计算节点至少3个,历史节点1个

    image

  5. 选择Zookeeper集群,如果没有Zookeeper集群,请参照Zookeeper 安装

    image

  6. 选择HDFS集群,如果没有HDFS集群,HDFS 安装。点击下一步

    image

  7. 修改配置

    image

  8. 部署确认

    image

检查状态#

安装完成查看服务列表,检查所有角色状态是否正常 image

常见操作#

  • 停止集群

    image

  • 启动集群

    image

  • 重启集群

    image

  • 刷新集群状态

    image

  • 查看部署日志

    image

  • 删除集群

    image