Ceph单机部署全指南：从安装到优化的完整实践

一、单机部署的适用场景与核心价值

Ceph作为分布式存储系统的标杆，其单机部署模式常被用于三类场景：开发测试环境快速搭建、小型企业低成本存储方案、边缘计算节点的轻量化部署。相较于生产环境的多节点集群，单机部署通过单物理机模拟多OSD（对象存储设备）实现存储功能，既能验证Ceph核心逻辑，又可节省硬件成本。

技术层面，单机部署需解决两大挑战：资源隔离与性能调优。单节点需同时运行Monitor、OSD、MDS（元数据服务器）等组件，需通过Cgroup或Namespace实现CPU、内存的隔离；存储性能方面，需优化文件系统选择（如XFS/Btrfs）与块设备配置，避免I/O争用。

二、环境准备与依赖安装

2.1 硬件配置要求

• CPU：4核以上（建议8核），支持AVX指令集
• 内存：16GB以上（生产环境建议32GB+）
• 磁盘：至少3块独立磁盘（1块系统盘，2块数据盘）
• 网络：千兆网卡（万兆更佳）

2.2 操作系统与内核调优

推荐使用CentOS 7/8或Ubuntu 20.04 LTS，需升级内核至4.15+以支持Ceph的BlueStore引擎。关键内核参数调整：

# /etc/sysctl.conf 配置示例
vm.swappiness=10
vm.dirty_background_ratio=5
vm.dirty_ratio=15
fs.file-max=1000000

2.3 依赖组件安装

通过Ceph官方仓库安装可避免版本冲突：

# CentOS示例
sudo yum install -y yum-plugin-priorities
sudo rpm --import 'https://download.ceph.com/keys/release.asc'
sudo yum-config-manager --add-repo 'https://download.ceph.com/rpm-nautilus/el7/x86_64/'
sudo yum install -y ceph ceph-common

三、核心组件部署流程

3.1 集群初始化

使用ceph-deploy工具快速创建单节点集群：

# 创建工作目录
mkdir my-cluster && cd my-cluster
# 初始化monitor节点（假设主机名为node1）
ceph-deploy new node1
# 安装Ceph到本地节点
ceph-deploy install node1
# 创建初始monitor
ceph-deploy mon create-initial

3.2 OSD部署配置

单机环境推荐使用文件存储或单磁盘部署：

# 使用目录作为OSD（测试环境）
mkdir /var/lib/ceph/osd/ceph-0
ceph-deploy osd prepare node1:/var/lib/ceph/osd/ceph-0
ceph-deploy osd activate node1:/var/lib/ceph/osd/ceph-0
# 或使用整块磁盘（生产环境）
ceph-deploy osd create --data /dev/sdb node1
ceph-deploy osd create --data /dev/sdc node1

3.3 存储池与CRUSH Map配置

创建适用于块存储的复制池：

ceph osd pool create rbd_pool 128 128
ceph osd pool set rbd_pool size 3
ceph osd pool set rbd_pool min_size 2

调整CRUSH Map使数据均匀分布在本地OSD：

# 获取当前CRUSH Map
ceph osd getcrushmap -o crushmap.bin
crushtool -d crushmap.bin -o crushmap.txt
# 修改后编译回二进制
crushtool -c crushmap.txt -o new_crushmap.bin
ceph osd setcrushmap -i new_crushmap.bin

四、性能优化与监控

4.1 存储引擎选择

• BlueStore（推荐）：直接管理裸设备，减少文件系统开销
• FileStore：兼容旧版，但性能较低

配置示例：

# /etc/ceph/ceph.conf
[osd]
osd objectstore = bluestore
bluestore block path = /var/lib/ceph/osd/ceph-{id}
bluestore block wal path = /var/lib/ceph/osd/ceph-{id}/wal
bluestore block db path = /var/lib/ceph/osd/ceph-{id}/db

4.2 监控体系搭建

部署Prometheus+Grafana监控栈：

# 安装Node Exporter
wget https://github.com/prometheus/node_exporter/releases/download/v*/node_exporter-*.*-amd64.tar.gz
tar xvfz node_exporter-*.*-amd64.tar.gz
./node_exporter
# Ceph Exporter配置
docker run -d \
  -p 9128:9128 \
  -v /etc/ceph:/etc/ceph:ro \
  digitalocean/ceph-exporter

关键监控指标：

• ceph_osd_op_lat：操作延迟
• ceph_cluster_bytes_used：存储使用量
• ceph_mon_quorum_status：Monitor集群状态

五、故障排查与维护

5.1 常见问题处理

问题1：OSD频繁进入down状态

• 检查日志：journalctl -u ceph-osd@id -f
• 验证磁盘健康：smartctl -a /dev/sdX

问题2：Monitor选举失败

• 检查时间同步：chronyc tracking
• 验证网络连通性：ceph tell mon.* version

5.2 数据备份与恢复

使用ceph-objectstore-tool进行BlueStore备份：

# 备份OSD数据
ceph-objectstore-tool --data-path /var/lib/ceph/osd/ceph-0 \
  --op backup --journal-path /var/lib/ceph/osd/ceph-0/journal \
  --output-file /backup/osd_backup.bin

六、进阶实践：容器化部署

通过Docker Compose实现轻量化部署：

version: '3'
services:
  mon:
    image: ceph/daemon:latest
    command: mon
    environment:
      - MON_IP=10.0.0.1
      - CEPH_PUBLIC_NETWORK=10.0.0.0/24
    volumes:
      - /etc/ceph:/etc/ceph
      - /var/lib/ceph/:/var/lib/ceph/
  osd:
    image: ceph/daemon:latest
    command: osd_directory
    environment:
      - OSD_DEVICE=/var/lib/ceph/osd
    volumes:
      - /dev/sdb:/var/lib/ceph/osd
      - /etc/ceph:/etc/ceph

七、总结与最佳实践

1. 资源隔离：使用Cgroup限制OSD内存使用（建议每个OSD不超过4GB）
2. 日志轮转：配置logrotate避免/var/log/ceph目录爆满
3. 升级策略：先升级Monitor，再逐个升级OSD
4. 测试验证：部署后执行rados bench进行压力测试

单机部署虽非生产环境首选，但通过合理配置可实现90%以上的功能覆盖。建议开发阶段使用虚拟化环境（如Vagrant+VirtualBox）快速迭代，生产环境则需尽快迁移至多节点集群。