可视化安装

可视化安装#

如果您希望通过可视化部署的方式安装 Flink,请按照本章节步骤安装。

前提#

Skylab 基础组件 Lava 已经部署,部署所需机器已经添加到 Skylab。如何添加机器,参见 部署Skylab的基础服务Lava的“添加机器”章节。

Flink 如果要作为 Wasp 的计算引擎被安装,那么需要依赖 Wasp,主要是为了 checkpoint 的管理和 metrics 的发送,Wasp 安装部署请参考:Wasp 安装

安装#

  1. 点击 Skylab 顶栏中的 自动部署 进入自动部署模块

  2. 点击自动部署模块侧栏中的 Flink 应用,或点击右边的集群管理

    image

  3. 点击页面中的 新建集群 按钮,若是首次部署,则根据界面提示即可进入部署流程。

    image

  4. 第一步会展示当前Flink可能依赖的所有资源的清单,您可以根据清单调整部署顺序,统筹资源。

    image

  5. 选择部署节点 Flink 部署当前支持的是 standalone session 的模式,必须要选择一个 JobManager, 一个或多个 TaskManager。

    image

    如果该 Flink 集群是作为 Wasp 的计算引擎而部署的,那么需要选择依赖一套 Wasp 集群,主要目的如下:

    • 和 Wasp 共用一套 HDFS,为了存储 checkpoint 并且 Wasp 可以管理这些 checkpoint。

    • 向 Wasp 发送 Flink job 的 Metrics,为了 Wasp 的任务监控。

    注意: 如果该 Flink 集群和 Wasp 集群共用的 HDFS 集群开启了 Kerberos 认证,那么这里也需要开启 Kerberos, 选择 KDC,保证 keytab 和 principal 正确,具体配置在 flink-conf.yaml 中。

    image

    如果是单纯的部署一套 Flink 集群,不需要作为 Wasp 的计算引擎,那么可以不选择依赖的 Wasp 集群。

  6. 修改配置

    根据实际环境决定是否修改这些配置。注意:如果要将此Flink集群作为Wasp的计算引擎,那么需要确认中的 metrics.reporter.wasp.url 为 http://${waspIp}:1682/api/lava/wasp/monitor/reporter

    image

  7. 部署确认

    确认配置无误,设置一个集群名称,点击部署即可。

    image

检查状态#

安装完成查看服务列表,检查所有角色状态是否正常

image

常见操作#

  • 停止集群

    image

  • 启动集群

    image

  • 重启集群

    image

  • 刷新集群状态

    image

  • 查看部署日志

    image

  • 删除集群

    image

  • 集群配置

    image

    您可以在这里修改集群配置,修改配置后会自动重启生效。

    image

    这里可以查看历史版本的配置,您可以进行对比、回退等。

    image