可视化部署#
如果您希望使用可视化的方式单独部署 OushuDB ,请按照本章节步骤部署。您可以通过本步骤部署一到多套 OushuDB 集群。
前提#
Skylab基础组件Lava已经部署,部署所需机器已经添加到Skylab。如何添加机器,参见 部署Skylab的基础服务Lava的“添加机器”章节。
OushuDB 的运行需要依赖分布式存储 Magma ,在部署 OushuDB 前,请确保 Magma 已经部署并初始化。 Magma 安装部署请参考:Magma 安装。
部署 OushuDB 基础服务#
OushuDB基础服务是Skylab平台中为OushuDB提供可视化工具的服务,部署了OushuDB基础服务之后,您才可以使用Skylab中OushuDB的可视化工具:Worksheet。Worksheet提供针对OushuDB的 对象管理、SQL查询、上传下载等可视化功能,具体使用方式请查看相关章节。
如图所示,用系统管理员登录Skylab,打开“自动部署”模块,从左侧菜单点击“云数仓”下“OushuDB”,打开OushuDB集群管理页面,切换到“基础服务”标签,点击“部署OushuDB基础服务”即可开启OushuDB集群的可视化部署指引界面。
节点选择#
部署一共分为三步:节点&依赖选择、配置修改、部署确认。在节点&依赖选择步骤选择一个(单点模式)或者多个节点(负载均衡模式)。如果是负载均衡模式,后台会自动在已添加的Nginx中配置负载均衡规则。选择完成,点击“下一步”。
配置修改#
在第二步,修改相应的服务配置。 basic.config.xml是服务相关的一些Host、IP、Port、日志目录等配置。 postgres.config.xml是连接postgres数据库的相关配置,即本服务的元数据是存储所在。配置完成,点击“下一步”。
部署确认#
在第三步,确认之前的节点选择与配置信息是正确的, 点击“部署”即可开启部署流程。
查看部署日志#
部署过程中,服务状态显示为“部署中”。
点击集群右侧“部署日志”图标,可以打开部署日志。
部署完成,集群状态改为“运行中”。
验证部署结果#
部署完成之后,到“云数据库 OushuDB”->“工作簿”页面,点击“新建工作簿”尝试新建工作簿,如果新建成功,说明服务正常运行。
部署 OushuDB#
如图所示,用系统管理员登录Skylab,打开“自动部署”模块,从左侧菜单点击“云数仓”下“OushuDB”,打开OushuDB集群管理页面,点击“新建集群”即可开启OushuDB集群的可视化部署指引界面。
资源清单#
创建集群指引的第一步“资源清单”列出创建OushuDB集群所需的所有资源清单。
存储方式:在非云环境下,OushuDB支持Magma与HDFS两种存储,在此您需要选择OushuDB集群使用那种存储方式。您需要至少选择一种。 如果选择了HDFS存储方式,那么,需要提前部署好HDFS集群,否则无法进行下一步;同理如果您选择了Magma存储,那么,需要提前部署好Magma集群,否则无法进行下一步。
可用节点:列出可以平台中已经添加进去的部署OushuDB的机器,也可以通过点击列表上方“新建节点”来添加新的机器。
可用Magma集群:OushuDB 依赖Magma作为元数据存储,所以,需要提前部署好Magma集群。否则无法进行OushuDB集群的部署。
HDFS集群:如果希望使用HDFS座位存储,HDFS集群是必要清单之一。
清单检查完毕,如无问题,点击“下一步”。
计算节点选择#
OushuDB集群的计算节点包含一个主节点集群、多个虚拟子集群(VC),每一个虚拟子集群可以有多个虚拟子集群实例(VCI)。
主节点集群节点的个数影响OushuDB集群所能支撑的并发量,主节点集群节点数越多,OushuDB集群能支持的并发越高。
选择主节点集群的节点:至少需要选择一个节点。
添加虚拟计算集群:可以创建多个虚拟计算集群,并且为每一个虚拟计算集群指定VCI的数量、每一个VCI中节点的数量、选择具体的节点。具体参数的说明,详见OushuDB 命令行安装。
计算节点选择完毕,点击“下一步”。
存储节点选择#
因为OushuDB是存算分离的架构,计算节点选择完之后,还需要额外定义存储集群。非云部署模式下,支持两种存储的选择:Magma与HDFS,需要至少 选择其中一种。
Magma存储:Magma存储是偶数自研的分布式表存储系统,与HDFS相比,本身支持高性能的更新与删除,适合实时的场景。一个Magma存储集群包含一个或者多个VSC(Virtual Storage Cluster)。 OushuDB的元数据也是存储到Magma存储。Magma集群作为元数据存储作为必选项,然后可以将magma集群中的一个或者多个vsc作为数据存储。
HDFS存储:如果需要,选择一个HDFS集群作为数据存储,并且为每一个选择的HDFS集群指定数据目录。
以上设置完毕,点击下一步。
配置修改#
在此页面,可以修改OushuDB集群所需的配置,具体的配置的详细描述,见OushuDB 命令行安装。
修改完毕之后,点击“下一步”进入第5步。
部署确认#
最后,此页面列出所有之前的选择,包括计算节点、存储以及配置等,确认无误之后,点击“部署”即可开始部署。
查看部署日志#
开始部署之后,OushuDB集群管理页面会增加一条状态为“创建中”的集群。
可以点击“…”->“部署日志”可以查看部署日志。
状态检查#
部署成功之后,如下图所示,打开OushuDB组件的工作簿页面,创建新的工作簿。
在工作簿中,选择刚刚部署的集群与VC,在工作簿的SQL编辑界面输入如下SQL,点击“执行”(SQL编辑区域左上角的蓝色三角型),如果执行 成功并且结果返回为“10000”,则证明集群部署成功并且运行正常。
CREATE TABLE rank1 (id int);
insert into rank1 select generate_series(1, 10000, 1);
select count(*) from rank1;