可视化安装#
如果您希望通过可视化部署的方式安装 Flink,请按照本章节步骤安装。
前提#
Skylab 基础组件 Lava 已经部署,部署所需机器已经添加到 Skylab。如何添加机器,参见 部署Skylab的基础服务Lava的“添加机器”章节。
Flink 如果要作为 Wasp 的计算引擎被安装,那么需要依赖 Wasp,主要是为了 checkpoint 的管理和 metrics 的发送,Wasp 安装部署请参考:Wasp 安装。
安装#
点击 Skylab 顶栏中的 自动部署 进入自动部署模块
点击自动部署模块侧栏中的 Flink 应用,或点击右边的集群管理
点击页面中的 新建集群 按钮,若是首次部署,则根据界面提示即可进入部署流程。
第一步会展示当前Flink可能依赖的所有资源的清单,您可以根据清单调整部署顺序,统筹资源。
选择部署节点 Flink 部署当前支持的是 standalone session 的模式,必须要选择一个 JobManager, 一个或多个 TaskManager。
如果该 Flink 集群是作为 Wasp 的计算引擎而部署的,那么需要选择依赖一套 Wasp 集群,主要目的如下:
和 Wasp 共用一套 HDFS,为了存储 checkpoint 并且 Wasp 可以管理这些 checkpoint。
向 Wasp 发送 Flink job 的 Metrics,为了 Wasp 的任务监控。
注意: 如果该 Flink 集群和 Wasp 集群共用的 HDFS 集群开启了 Kerberos 认证,那么这里也需要开启 Kerberos, 选择 KDC,保证 keytab 和 principal 正确,具体配置在 flink-conf.yaml 中。
如果是单纯的部署一套 Flink 集群,不需要作为 Wasp 的计算引擎,那么可以不选择依赖的 Wasp 集群。
修改配置
根据实际环境决定是否修改这些配置。注意:如果要将此Flink集群作为Wasp的计算引擎,那么需要确认中的 metrics.reporter.wasp.url 为 http://${waspIp}:1682/api/lava/wasp/monitor/reporter
部署确认
确认配置无误,设置一个集群名称,点击部署即可。
检查状态#
安装完成查看服务列表,检查所有角色状态是否正常
常见操作#
停止集群
启动集群
重启集群
刷新集群状态
查看部署日志
删除集群
集群配置
您可以在这里修改集群配置,修改配置后会自动重启生效。
这里可以查看历史版本的配置,您可以进行对比、回退等。