分布式数据仓库安装教程

2025年12月26日 12:57 • 虚拟主机 • 阅读 222

环境准备与依赖安装

在开始分布式数据仓库安装前,需完成基础环境配置，确保所有节点操作系统一致，推荐使用CentOS 7.9或Ubuntu 20.04 LTS，并关闭防火墙与SELinux（生产环境需配置安全策略），网络方面，需规划好节点间通信的私有IP，确保所有节点能通过主机名互相解析（建议配置/etc/hosts文件）。

依赖组件安装是关键步骤,Java 8或11是必需运行环境，可通过yum install java-1.8.0-openjdk -y（CentOS）或apt install openjdk-8-jdk -y（Ubuntu）安装，需安装SSH免密登录，方便节点间命令执行：在主节点执行ssh-keygen -t rsa生成密钥，后通过ssh-copy-id user@node_ip将公钥分发至所有工作节点，确保时间同步服务（如NTP）已启用，避免因时间差异导致集群异常。

核心组件部署

以Apache Doris（原Palo）为例，介绍分布式数据仓库核心组件部署流程，下载二进制安装包（推荐最新稳定版）并解压至所有节点的/opt/doris目录，设置权限chmod -R 755 /opt/doris。

BE（Backend）节点配置：
每个BE节点需修改be.conf文件（位于/opt/doris/be/conf），核心参数包括：

BE_ADDR：本机私有IP，格式为IP:9050（BE服务端口）；
heartbeat_service_port：心跳服务端口，默认9050；
storage_root_path：数据存储路径，如/data/doris/storage，需预先创建并分配足够磁盘空间。

配置完成后,在BE节点启动服务：cd /opt/doris/be && ./bin/start_be.sh，通过ps -ef | grep be确认进程是否启动成功。

FE（Frontend）节点配置：
FE节点分为Leader、Follower和Observer角色，推荐至少3个FE节点组成高可用集群，修改fe.conf文件，关键参数如下：

edit_log_port：日志同步端口，默认9010；
metadata_failure_recovery：设置为true，允许元数据自动恢复；
service_port：服务端口，默认9030（MySQL协议端口）。

首次启动时,需在Leader节点执行./bin/start_fe.sh --helper（指定其他FE节点地址），后续Follower节点直接启动即可，集群状态可通过mysql -h FE_IP -P 9030 -u root连接后执行SHOW PROC '/backends'和SHOW PROC '/frontends'查看。

高可用与性能优化

高可用配置：

FE节点：通过ALTER SYSTEM ADD FOLLOWER/OBSERVER 'node_ip:9030'命令动态添加节点，确保Leader和Follower数量为奇数（如3个Follower），提升元数据可靠性。
BE节点：默认支持数据多副本，可在创建表时指定replication_num（建议3），系统会自动在不同BE节点分布副本。

性能优化：

内存配置：根据服务器内存大小调整BE的memory_limit参数，建议设置为物理内存的40%-60%，避免OOM。
磁盘规划：使用SSD并配置多磁盘storage_root_path（如/data1/doris,/data2/doris），实现IO负载均衡。
查询优化：开启查询结果缓存（enable_query_cache=true），对频繁查询的表建立合适的索引（如聚合模型列）。

安装验证与常见问题

安装完成后,需进行功能验证，创建测试数据库与表：

CREATE DATABASE test_db;  
USE test_db;  
CREATE TABLE test_table (k1 VARCHAR(20), k2 INT) DISTRIBUTED BY HASH(k1) BUCKETS 10;  
INSERT INTO test_table VALUES ('a', 1), ('b', 2);  
SELECT * FROM test_table;

若查询返回结果,说明安装成功。