可视化部署#

如果您希望使用可视化的方式单独部署 OushuDB ,请按照本章节步骤部署。您可以通过本步骤部署一到多套 OushuDB 集群。

前提#

Skylab基础组件Lava已经部署,部署所需机器已经添加到Skylab。如何添加机器,参见 部署Skylab的基础服务Lava的“添加机器”章节。

OushuDB 的运行需要依赖分布式存储 Magma ,在部署 OushuDB 前,请确保 Magma 已经部署并初始化。 Magma 安装部署请参考:Magma 安装

部署 OushuDB 基础服务#

OushuDB基础服务是Skylab平台中为OushuDB提供可视化工具的服务,部署了OushuDB基础服务之后,您才可以使用Skylab中OushuDB的可视化工具:Worksheet。Worksheet提供针对OushuDB的 对象管理、SQL查询、上传下载等可视化功能,具体使用方式请查看相关章节。

worksheet

如图所示,用系统管理员登录Skylab,打开“自动部署”模块,从左侧菜单点击“云数仓”下“OushuDB”,打开OushuDB集群管理页面,切换到“基础服务”标签,点击“部署OushuDB基础服务”即可开启OushuDB集群的可视化部署指引界面。 entry

节点选择#

部署一共分为三步:节点&依赖选择、配置修改、部署确认。在节点&依赖选择步骤选择一个(单点模式)或者多个节点(负载均衡模式)。如果是负载均衡模式,后台会自动在已添加的Nginx中配置负载均衡规则。选择完成,点击“下一步”。

choosenode

配置修改#

在第二步,修改相应的服务配置。 basic.config.xml是服务相关的一些Host、IP、Port、日志目录等配置。 postgres.config.xml是连接postgres数据库的相关配置,即本服务的元数据是存储所在。配置完成,点击“下一步”。

config

部署确认#

在第三步,确认之前的节点选择与配置信息是正确的, 点击“部署”即可开启部署流程。

confirm

查看部署日志#

部署过程中,服务状态显示为“部署中”。

deploying

点击集群右侧“部署日志”图标,可以打开部署日志。

log

部署完成,集群状态改为“运行中”。

sucess

验证部署结果#

部署完成之后,到“云数据库 OushuDB”->“工作簿”页面,点击“新建工作簿”尝试新建工作簿,如果新建成功,说明服务正常运行。

部署 OushuDB#

如图所示,用系统管理员登录Skylab,打开“自动部署”模块,从左侧菜单点击“云数仓”下“OushuDB”,打开OushuDB集群管理页面,点击“新建集群”即可开启OushuDB集群的可视化部署指引界面。

新建集群-资源清单

资源清单#

创建集群指引的第一步“资源清单”列出创建OushuDB集群所需的所有资源清单。

存储方式:在非云环境下,OushuDB支持Magma与HDFS两种存储,在此您需要选择OushuDB集群使用那种存储方式。您需要至少选择一种。 如果选择了HDFS存储方式,那么,需要提前部署好HDFS集群,否则无法进行下一步;同理如果您选择了Magma存储,那么,需要提前部署好Magma集群,否则无法进行下一步。

可用节点:列出可以平台中已经添加进去的部署OushuDB的机器,也可以通过点击列表上方“新建节点”来添加新的机器。

可用Magma集群:OushuDB 依赖Magma作为元数据存储,所以,需要提前部署好Magma集群。否则无法进行OushuDB集群的部署。

HDFS集群:如果希望使用HDFS座位存储,HDFS集群是必要清单之一。

新建集群-资源清单

清单检查完毕,如无问题,点击“下一步”。

计算节点选择#

OushuDB集群的计算节点包含一个主节点集群、多个虚拟子集群(VC),每一个虚拟子集群可以有多个虚拟子集群实例(VCI)。

主节点集群节点的个数影响OushuDB集群所能支撑的并发量,主节点集群节点数越多,OushuDB集群能支持的并发越高。

选择主节点集群的节点:至少需要选择一个节点。

新建集群-节点选择

添加虚拟计算集群:可以创建多个虚拟计算集群,并且为每一个虚拟计算集群指定VCI的数量、每一个VCI中节点的数量、选择具体的节点。具体参数的说明,详见OushuDB 命令行安装

新建集群-节点选择

计算节点选择完毕,点击“下一步”。

存储节点选择#

因为OushuDB是存算分离的架构,计算节点选择完之后,还需要额外定义存储集群。非云部署模式下,支持两种存储的选择:Magma与HDFS,需要至少 选择其中一种。

Magma存储:Magma存储是偶数自研的分布式表存储系统,与HDFS相比,本身支持高性能的更新与删除,适合实时的场景。一个Magma存储集群包含一个或者多个VSC(Virtual Storage Cluster)。 OushuDB的元数据也是存储到Magma存储。Magma集群作为元数据存储作为必选项,然后可以将magma集群中的一个或者多个vsc作为数据存储。

新建集群-节点选择 新建集群-节点选择

HDFS存储:如果需要,选择一个HDFS集群作为数据存储,并且为每一个选择的HDFS集群指定数据目录。

新建集群-节点选择

以上设置完毕,点击下一步。

配置修改#

在此页面,可以修改OushuDB集群所需的配置,具体的配置的详细描述,见OushuDB 命令行安装

新建集群-节点选择

修改完毕之后,点击“下一步”进入第5步。

部署确认#

最后,此页面列出所有之前的选择,包括计算节点、存储以及配置等,确认无误之后,点击“部署”即可开始部署。

新建集群-节点选择

查看部署日志#

开始部署之后,OushuDB集群管理页面会增加一条状态为“创建中”的集群。

新建集群-日志查看入口

可以点击“…”->“部署日志”可以查看部署日志。

新建集群-日志查看

状态检查#

部署成功之后,如下图所示,打开OushuDB组件的工作簿页面,创建新的工作簿。

新建集群-测试1

在工作簿中,选择刚刚部署的集群与VC,在工作簿的SQL编辑界面输入如下SQL,点击“执行”(SQL编辑区域左上角的蓝色三角型),如果执行 成功并且结果返回为“10000”,则证明集群部署成功并且运行正常。

CREATE TABLE rank1 (id int);

insert into rank1 select generate_series(1, 10000, 1);

select count(*) from rank1;

新建集群-测试2