整体介绍#

简介#

Skylab平台包含Skylab基础组件、数据应用、数据开发、数据库、大数据组件、负载均衡等七大类几十个组件,所有组件的安装部署可以由Skylab安装部署组件Lava-Admin可视化完成,也可以手动安装之后注册到Skylab平台进行集群管理与监控。

其中Skylab基础、应用、数据开发以及数据库中的OushuDB与Magma都是偶数自研产品。

数据库类的HBase、大数据类的所有组件,都是基于Apache Hadoop开源软件,并在性能、可靠性、安全性与管理性等方面做了企业级增强。用户可以根据业务需求,灵活搭配部署,满足大容量的数据存储、查询和分析能等日常需求。

skylab-structure

组件清单#

分类

组件名称

版本号

Skylab基础

平台中心服务 Lava-Server

5.0.0.0

管理运维服务 Lava-Admin

5.0.0.0

数据库

云数据库 OushuDB

5.0.0.0

分布式表存储 Magma

5.0.0.0

KV数据库 HBase(含Phoenix 5.1.2)

2.4.15

大数据组件

大数据计算 Spark

3.1.2

流处理 Flink

1.14.3

离线数仓 Hive(含Tez 0.10.1)

3.1.3

分布式存储 HDFS

3.3.4

资源管理 Yarn

3.3.4

协调服务 ZooKeeper

3.7.1

文本搜索引擎 ElasitcSearch

6.8.14

消息队列 Kafka

2.7.2

安全认证 Kerberos

1.15.1

权限管理 Ranger

2.3.0

目录访问 OpenLDAP

2.4.44

数据开发

数据工厂 WASP

5.0.0.0

作业调度 Flow

5.0.0.0

数据应用

对话式数据分析 Kepler

2.0.0.0

机器学习 LittleBoy

5.0.0.0

负载均衡

负载均衡 Nginx

1.20.2

部署依赖与原则#

集群中各服务之间存在依赖或者约束的关系:

A依赖于B表示,若部署A角色,需要提前或同时部署B角色。A与B可以部署在不同的节点上。

A与B有约束表示,若部署A角色,需要提前或者同时部署B角色,且A与B角色需要部署在相同的节点上。

各组件部署依赖原则表:

dependency

安装顺序推荐#

  1. 安装准备(必选)

  2. 安装 Lava(Postgresql)、添加机器(必选)

  3. 安装 KDC

  4. 安装 LDAP

  5. 安装 Ranger

  6. 安装 Zookeeper(必选)

  7. 安装 HDFS(必选)

  8. 安装 Yarn/MR(必选)

  9. 安装 Magma

  10. 安装 OushuDB

  11. 安装 Hive

  12. 安装 Spark

  13. 安装 HBase

  14. 安装 Flink

  15. 安装 Kafka

  16. 安装 ElasticSearch

  17. 安装 Wasp

  18. 安装 Flow

  19. 安装 Kepler

  20. 安装 Littleboy

限制及约束#

Skylab前端UI对浏览器的版本有如下限制:

浏览器

建议版本

最低版本

Chrome

>100

61

Edge

>100

79

Firefox

>100

60

Safari

>14

11

Opera

>70

48

IE

不支持

不支持