分布式文件存储系统ceph安装

环境准备与系统初始化

在安装Ceph分布式文件存储系统之前,需确保满足硬件与软件环境要求，硬件方面，建议至少3台节点（用于OSD、Monitor的高可用），每节点配备独立磁盘（建议SSD或HDD，根据性能需求选择）及足够的内存（至少8GB），操作系统推荐使用CentOS 7/8或Ubuntu 20.04 LTS，并确保所有节点时间同步（通过chrony或ntpd）、网络互通（建议配置内网独立IP，避免与业务网络冲突）。

关闭防火墙或配置相关端口（如6789用于MON，3300用于MGR，6800-7300用于OSD），禁用SELinux（或配置正确策略），并更新系统软件包，在CentOS系统中执行：

sudo systemctl stop firewalld && sudo systemctl disable firewalld  
sudo setenforce 0  
sudo yum update -y  

为所有节点配置hosts文件,确保可通过主机名互相访问，并创建专用用户（如ceph）并赋予sudo权限。

Ceph软件包安装与仓库配置

Ceph提供官方软件源,支持在线安装与离线包部署，此处以在线安装为例，以CentOS系统为例，首先安装EPEL仓库及必要的依赖包：

sudo yum install -y https://dl.fedoraproject.org/pub/epel/epel-release-latest-7.noarch.rpm  
sudo yum install -y yum-utils  

随后,添加Ceph官方仓库（以Nautilus版本为例，可根据需求选择版本）：

sudo rpm --import https://download.ceph.com/keys/release.asc  
sudo yum-config-manager --add-repo https://download.ceph.com/rpm-nautilus/el7/noarch  
sudo yum-config-manager --add-repo https://download.ceph.com/rpm-nautilus/el7/x86_64  

更新缓存后,安装Cephadm（Ceph的容器化管理工具）及相关组件：

sudo yum update -y  
sudo yum install -y cephadm  

安装完成后,初始化Ceph集群配置目录：

sudo cephadm bootstrap --mon-ip <MONITOR_IP>  

其中<MONITOR_IP>为首个Monitor节点的IP地址，该命令会自动部署Monitor、Manager及Dashboard服务，并生成集群配置文件（默认位于/etc/ceph/目录下）。

部署OSD服务

OSD（Object Storage Daemon）是Ceph的核心存储组件，负责存储实际数据，在部署OSD前，需确保每个节点有可用磁盘（未分区或已格式化），以未分区磁盘为例，使用ceph-volume工具准备OSD：

1. 查看磁盘信息：

   sudo lsblk  

   确认目标磁盘（如/dev/sdb）无重要数据。

2. 准备OSD：

   sudo ceph-volume lvm create --data /dev/sdb  

   该命令会自动创建LVM物理卷、卷组及逻辑卷，并配置OSD，重复此步骤在每个节点的目标磁盘上执行OSD部署。

3. 验证OSD状态：

   sudo ceph -s  

   若看到osd: N osds: N up, N in（N为OSD数量），表示OSD已成功加入集群。

配置存储池与客户端访问

Ceph存储池（Pool）是逻辑存储单元，用于控制数据分布与副本策略，默认会创建rbd池（基于RADOS块设备）和cephfs数据/元数据池（基于文件系统），可根据需求调整池参数，

1. 创建自定义存储池（副本数为3）：

   

   sudo ceph osd pool create mypool 128 128 replicated  
   sudo ceph osd pool set mypool size 3  

2. 创建RBD镜像（块设备）：

   sudo rbd create mypool/myimage --size 10G  
   sudo rbd map mypool/myimage  

   客户端可通过/dev/rbd0挂载使用，格式化后作为普通磁盘使用。

3. 部署CephFS文件系统：

   sudo ceph fs new myfs mypool-metadata mypool-data  

   客户端可通过mount -t ceph <MON_IP>:6789:/ /mnt挂载文件系统。

集群管理与维护

Cephadm提供便捷的集群管理功能,可通过ceph orch命令管理服务。

• 查看服务状态：

  sudo ceph orch ps  

• 添加/移除节点：

  sudo ceph orch host add <新节点主机名> <IP地址>  
  sudo ceph orch host rm <节点主机名>  

• 扩容OSD：重复“部署OSD服务”步骤，新OSD会自动加入集群并参与数据均衡。

日常维护中,需定期监控集群状态（ceph -s、ceph health detail）、清理过期快照及日志，并根据业务需求调整池参数（如副本数、CRUSH规则）。

通过以上步骤,可完成Ceph分布式文件存储系统的安装与基础配置，Ceph的高可用、可扩展特性使其适用于大规模存储场景，但需根据实际业务需求优化硬件配置与集群参数，确保性能与稳定性。