# Ceph

:一个分布式存储系统。可以将多个主机的磁盘联网组合成一个资源池,提供块存储、文件存储、对象存储服务。

# 原理

  • Ceph 集群分布式部署在多个主机上,运行多种服务进程:

    • Monitor(MON)
      • 负责存储、维护 Cluster Map ,比如各个服务的地址、配置、状态等信息。
      • 支持部署多个实例,基于 Paxos 算法实现一致性。
      • 每个实例占用 1GB 以上内存。
      • 客户端一般通过访问 Monitor 来与 Ceph 集群交互。
    • Manager(MGR)
      • 负责管理一些功能模块,比如 Dashboard 。
      • 每个实例都会运行 Dashboard 模块,提供 Web 管理页面。集成了一套 grafana、prometheus、node_exporter、alertmanager 监控进程。
    • Object Storage Daemon(OSD)
      • 负责将数据存储到设备中,供用户读写。
      • 通常在每个主机上,将存储设备格式化为 LVM 逻辑卷,并部署一个 OSD 进程来管理。
        • 将 OSD 元数据保存在 LVM label 中,方便发现与逻辑卷关联的 OSD 。
    • Crash
      • 负责收集其它服务的崩溃信息。
    • Meta Data Server(MDS)
      • 负责存储 CephFS 文件系统的元数据,比如文件权限、属性。
      • 启用文件存储时才需要。将文件的内容存储在 OSD ,而元数据存储在 MDS 服务器。
    • RADOS Gateway(RGW)
      • 通过 RESTful API 提供对象存储功能。
      • 启用对象存储时才需要。
  • RADOS :Ceph 的存储层,以对象存储的形式存储所有数据,因此存储数据的基本单位为 object 。

    • 每个 object 的默认大小为 4MB ,拥有一个在集群内唯一的 object id 。
    • Ceph 会将 object 根据哈希值分配到一些 pg(Placement Group) 中,从而方便分组管理大量 object 。
    • 支持创建多个存储池(Pool),对 pg 进行分组管理。
  • 应用程序可通过 librados 库访问 RADOS 。librados 库提供了三种常用的存储接口:

    • librbd
      • :用于块存储。
      • Ceph 不依赖其它文件系统,可以用自带的存储后端 BlueStore 直接管理 HDD、SSD 硬盘。
    • MDS
      • :用于文件存储。
      • 提供了一种网络文件系统 CephFS ,兼容 POSIX 文件系统。
    • RADOS Gateway
      • :用于对象存储,兼容 S3、Swift 。
  • Ceph 新增数据的流程:

    1. 应用程序访问 Monitor ,获知所有 OSD 的信息。
    2. 将数据分割为以 object 为单位,再以 pg 为单位分组。
    3. 将 pg 分配到一些 OSD 中存储。
      • 应用程序直接与 OSD 进程通信,不需要经过 Monitor 中转,因此分散了负载压力。
      • 应用程序和 OSD 进程都能根据 CRUSH 算法计算出每个 pg 应该存储到哪个 OSD 的哪个位置,不需要查表,因此效率更高。

# 部署

Ceph 有多种部署方式:

  • ceph-ansible :基于 ansible playbook 部署 Ceph 集群。
  • ceph-deploy :一个命令行工具,已停止维护。
  • Cephadm :一个 Python3 脚本,用于以容器形式部署 Ceph 集群,通过编排(Orchestrator ,orch)接口控制 Ceph 。
  • Rook :用于在 k8s 中部署 Ceph 集群。

# 版本

大概每年发布一个大版本:

  • v9 :版本名为 Infernalis ,2015 年发布。
  • v15 :版本名为 Octopus ,2020 年发布。
  • v16 :版本名为 Pacific ,2021 年发布。

# Cephadm

部署步骤:

  1. 下载 Cephadm 脚本:

    version=pacific
    wget https://github.com/ceph/ceph/raw/${version}/src/cephadm/cephadm
    
  2. 在当前主机上部署一个初始化的 Ceph 集群:

    python3 cephadm bootstrap --mon-ip <ip>
    

    该命令会:

    • 采用指定 IP 作为当前主机的 IP 。
    • 检查本机是否安装了依赖软件,没有则自动安装:
      • docker 或 podman 容器引擎
      • systemctl
      • lvcreate
      • chronyd
    • 以容器形式运行一个 Monitor 和 Manager 进程,并在防火墙开通相应端口。
    • 为 Ceph 集群生成一个新的 SSH 密钥。
      • 密钥保存到 /etc/ceph/ceph.client.admin.keyring 文件。
      • 公钥保存到 /etc/ceph/ceph.pub 文件,并添加到 /root/.ssh/authorized_keys 文件。
    • 给当前主机添加 _admin 标签。
      • 如果主机带有 _admin 标签,则会自动拷贝私钥文件和 /etc/ceph/ceph.conf 到该主机,允许它们管理集群。
      • 如果主机带有 _no_schedule 标签,则不会在该主机部署服务进程。
    • 启动 Ceph Dashboard ,并在终端打印初始的账号、密码。
      • 默认监听 HTTPS 8443 端口,可以禁用 SSL 协议:
        ceph config set mgr mgr/dashboard/ssl false
        ceph config set mgr mgr/dashboard/server_port 8080
        ceph config set mgr mgr/dashboard/ssl_server_port 8443
        ceph mgr module disable dashboard
        ceph mgr module enable dashboard
        
  3. 进入 ceph shell :

    python3 cephadm shell
    ceph status
    
    • 也可以执行 yum install ceph-common ,在宿主机上安装 ceph 命令。
  4. 添加其它主机

    ceph orch host add host2 10.0.0.2
    
    • 需要先拷贝 SSH 公钥到目标主机:
      ssh-copy-id -f -i /etc/ceph/ceph.pub root@10.0.0.2
      
  5. 部署 OSD 进程:

    ceph-volume lvm zap /dev/vdb --destroy    # 擦除一个磁盘
    ceph orch daemon add osd host1:/dev/vdb   # 创建 OSD 进程,管理磁盘
    

命令:

python3 cephadm
                version
                check-host                        # 检查本机是否安装了 cephadm 依赖
                bootstrap --mon-ip <ip>           # 引导启动一个新集群,重复执行则会部署多个集群
                rm-cluster --fsid <fsid> --force  # 删除集群,需要指定集群 ID
                shell                             # 打开 ceph shell ,这会创建一个临时的 ceph 容器
                ls                                # 列出当前主机上的服务进程
                logs --name <name>                # 查看指定服务进程的日志
  • cephadm 将日志保存到 journalctl ,也可以直接看容器日志。

# 管理命令

# 集群

# 查看集群
ceph -v
ceph status

# 升级集群
ceph orch upgrade start --ceph-version 16.2.6   # 升级到指定版本
ceph orch upgrade status                        # 查看升级任务的状态。执行 ceph status 还会显示升级的进度条
ceph orch upgrade stop                          # 停止升级任务

# 配置集群
ceph config dump                    # 输出集群的配置参数,不包括默认的配置参数
ceph config ls                      # 列出所有可用的配置参数
ceph config log [n]                 # 查看配置参数最近 n 次的变更记录
ceph config get <who> [key]         # 读取配置参数,who 表示服务类型
ceph config set <who> <key> <value> # 设置配置参数

# 主机

ceph orch host add <hostname> [addr] [label]... # 添加一个主机,指定名称和 IP 地址,还可以附加标签
ceph orch host rm  <hostname>
ceph orch host ls
ceph orch host set-addr  <hostname> <addr>      # 更新主机的地址
ceph orch host label add <hostname> <label>     # 给一个主机添加标签
ceph orch host label rm  <hostname> <label>

# 服务

ceph orch status                              # 显示编排器的状态,比如 cephadm
ceph orch ls [service_type] [service_name]    # 列出集群中的服务
              --export                        # 导出 spec 配置
ceph orch ps [hostname] [service_name]        # 列出主机上的服务进程实例
ceph orch rm <service_name>                   # 删除一个服务,这会终止其所有进程实例
ceph orch apply -i <xx.yml>                   # 导入服务的 spec 配置
  • 每种服务可能运行多个进程实例。
    • 服务的名称采用小写的服务类型,例如 mon 。
    • 服务进程以守护进程的形式运行,称为 daemon 。
      • daemon 的命名格式为 <service_name>.<hostname> ,例如 mon.host1 。
      • daemon 的容器命名格式为 ceph-<fsid>-<process_name>
    • 没有直接重启服务的命令,管理不方便。
  • 同种服务的 daemon 采用同一份配置(Specification ,spec)。例如 mon 服务的配置如下:
    service_type: mon
    service_name: mon
    placement:              # 关于部署的配置
      count: 5              # 指定需要部署的实例数
      # count_per_host: 1   # 每个主机上部署的实例数
      # hosts:              # 或者指定用于部署的主机名
      # - host-1
      # label: null         # 根据标签筛选用于部署的主机名
    # unmanaged: false      # 是否禁止 Orchestrator 管理该服务
    

# OSD

ceph osd ls                                   # 列出所有 OSD
ceph osd tree                                 # 以树形结构列出所有 OSD
ceph orch device ls [hostname]                # 列出主机上的存储设备
                    --wide                    # 显示详细信息
ceph orch daemon add osd <hostname>:<device>  # 创建 OSD 进程,管理指定的存储设备
ceph orch apply osd --all-available-devices   # 添加 spec 配置:自动为所有可用的存储设备部署 OSD 进程
                    --unmanaged=true          # 禁止编排 OSD 进程,不允许自动部署、手动部署
ceph orch osd rm <osd_id>...                  # 移除 OSD 进程,这会添加一个计划任务
ceph orch osd rm status                       # 查看移除任务的状态
ceph orch osd rm stop <osd_id>...             # 停止移除任务

# ceph-volume 是一个更底层的命令
ceph-volume lvm list                          # 列出所有已关联 OSD 的 logical volume
ceph-volume lvm zap <device>...               # 擦除一个 device 的内容。这会通过 dd if=/dev/zero of=<device> 命令销毁其中的分区表
                    --destroy                 # 擦除一个 raw device 时,销毁其中的 volume group 和 logical volume
ceph-volume lvm prepare --data <device>       # 为一个 device 创建 OSD
ceph-volume lvm activate
                    <osd_id> <uuid>           # 启动 OSD 进程,需要指定其编号和 uuid
                    --all                     # 自动发现所有 device 已关联的 OSD ,并启动
ceph-volume lvm deactivate <osd_id> <uuid>    # 停止 OSD 进程
  • ceph-volume 会自动发现主机上的存储设备,满足以下条件才视作可用,允许创建 OSD :
    • 大于 5 GB 。
    • 没有挂载。
    • 不包含文件系统。
    • 没有磁盘分区(partition)。因此通常使用以下两种存储设备:
      • raw device :原始存储设备,比如磁盘。
      • logical volume :LVM 逻辑卷。

# Pool

ceph osd pool ls                        # 列出所有 pool
ceph osd pool create <pool>             # 创建一个 pool ,指定名称
                    [pg_num] [pgp_num]
                    [replicated|erasure]
ceph osd pool rm  <pool> <pool> --yes-i-really-really-mean-it   # 删除一个 pool ,需要两次指定其名称
ceph osd pool get <pool> <key>          # 读取配置参数
ceph osd pool set <pool> <key> <value>
  • pool 分为两种类型:
    • replicated :复制池,默认采用。将 object 保存多份,从而实现数据备份。
      • 假设全部 OSD 的磁盘容量为 100G ,存储的 pool size 为 3 ,则 pool 最多允许写入 33G 数据。
    • erasure :纠错码池。通过占用大概 1.5 倍的存储空间来实现数据备份。
      • 比复制池占用的存储空间更少,但是读取时占用更多 CPU 和内存来解码,读取延迟较大,适合冷备份。
  • pool 常见的配置参数:
    size              # 该 pool 中每个 object 的副本数,即将所有数据保存 size 份。默认为 3
    min_size          # 读写 object 时需要的最小副本数。默认为 2
    pg_num            # 该 pool 包含的 pg 数,默认为 32 。应该根据 osd_count*100/pool_size 估算,并取最近的一个 2^n 幂值
    pgp_num           # 用于 CRUSH 计算的 pg 数,取值应该等于 pg_num
    crush_rule        # 采用的 CRUSH 规则。默认为 replicated_rule
    quota_max_bytes   # 存储容量。默认为 0 ,不限制
    quota_max_objects # 存储的 object 数。默认为 0 ,不限制
    
  • mon 服务关于 pool 的配置参数:
    mon_allow_pool_delete       # 是否允许删除 pool ,默认为 false
    mon_allow_pool_size_one     # 是否允许 pool size 设置为 1 。默认为 false ,因此 size 至少要为 2
    
    # pool 配置参数的默认值
    osd_pool_default_size
    osd_pool_default_min_size
    osd_pool_default_pg_num
    osd_pool_default_pgp_num
    
  • pool 中 pg 的常见状态:
    # 正常状态
    active        # 可以读写
    clean         # pg 不存在故障的 object
    
    # 异常状态
    down          # pg 离线
    undersized    # pg 实际运行的副本数少于 pool size
    degraded      # 降级了,pg 中存在一些 object ,其副本数少于 pool size
    stale         # pg 的状态没有更新到 Monitor ,可能是存储该 pg 的所有 OSD 都故障了
    
    # 关于检查、恢复
    deep          # 根据 checksum 检查 pg 的数据是否一致
    peer          # 存储该 pg 的所有 OSD 互相通信,将该 pg 的状态同步一致
    recovery      # 根据操作日志找出 pg 中与其它副本不一致的 object ,进行同步。常见于 OSD 重启时
    backfill      # 检查并同步 pg 中的全部 object ,常见于新增 pg、OSD 时
    

# CephFS

ceph fs ls                                    # 列出已创建的 fs
ceph fs status
ceph fs new <fs_name> <meta> <data>           # 创建一个 fs ,指定其用于存储元数据、数据的 pool
ceph fs rm  <fs_name> --yes-i-really-mean-it  # 删除一个 fs
ceph fs add_data_pool <fs_name> <pool>        # 给 CephFS 增加数据池
ceph fs get <fs_name>                         # 读取全部配置参数
ceph fs set <fs_name> <key> <value>           # 修改一个配置参数

ceph mds stat                                 # 显示 mds 的状态
  • Ceph 集群中可以创建多个 CephFS 文件系统实例,简称为 fs 。
    • 每个 fs 需要使用至少两个 pool ,分别用于存储数据、元数据。
    • 每个 fs 需要使用至少一个 MDS 服务器。
  • fs 常见的配置参数:
    max_file_size   # 单个文件的最大体积,默认为 1024^4
    down            # 是否停止服务。通过设置该参数为 true 或 false ,可以停止或启动 fs
    
  • 例:创建 fs
    ceph osd pool create cephfs1.data
    ceph osd pool create cephfs1.meta
    ceph fs new cephfs1 cephfs1.meta cephfs1.data
    
  • Linux 内核已经内置了 ceph 模块,因此可以直接用 mount 命令挂载 CephFS 文件系统:
    mount -t ceph <mon_ip:port>:<src_dir> <dst_dir>  # 访问 mon 服务器,将 CephFS 文件系统的 src_dir 挂载到当前主机的 dst_dir
            [-o options]              # 可加上一些逗号分隔的选项,如下:
                name=guest            # CephX 用户
                secret=xxx            # CephX 密钥
                secretfile=xxx        # CephX 密钥文件
                fs=cephfs1            # 默认挂载第一个 fs
    
    • secretfile、fs 选项需要安装 ceph 软件包才能使用,其提供了功能更多的 mount.ceph 命令。
    • 例:
      mkdir /mnt/cephfs
      mount -t ceph   10.0.0.1:/  /mnt/cephfs   -o name=admin,secret=xxx
      echo '10.0.0.1:/  /mnt/cephfs    ceph    name=admin,secret=xxx    0   0' >> /etc/fstab
      
      dmesg | tail          # 查看挂载日志
      umount /mnt/cephfs    # 卸载
      
    • 如果停止 fs ,则客户端访问已挂载的 fs 时会出错,比如无响应、umount 失败。

# volume

ceph fs volume ls                             # 列出已创建的 volume
ceph fs volume create <volume>                # 创建一个 volume
ceph fs volume rm <volume> --yes-i-really-mean-it

ceph fs subvolume ls
ceph fs subvolume create <vol_name> <sub_name> [group_name]
ceph fs subvolume rm     <vol_name> <sub_name> [group_name]

ceph fs subvolumegroup ls
ceph fs subvolumegroup create <vol_name> <group_name>
ceph fs subvolumegroup rm     <vol_name> <group_name>
  • CephFS volume 是对一种快速创建 fs 的方式。
    • 创建一个 volume 时,会自动创建:
      • 一个同名的 fs 。
      • 两个 pool ,命名格式为 cephfs.<volume>.datacephfs.<volume>.meta
      • 两个 MDS 服务器。
    • 删除一个 volume 时,会自动删除关联的 fs、pool 和 MDS 。
    • 每个 volume 中可以创建多个子卷(subvolume)或子卷组(subvolume group),相当于文件夹。
  • 例:查看 mds.volume1 的配置
    [ceph: root@CentOS /]# ceph orch ls mds mds.volume1 --export
    service_type: mds
    service_id: volume1
    service_name: mds.volume1
    placement:
      count: 2
    

# CephX

ceph auth ls            # 列出已创建的凭证
ceph auth get <name>    # 读取指定的凭证
ceph auth rm  <name>
  • Ceph 集群采用 CephX 协议进行身份认证。
  • 凭证示例:
    client.admin                                            # 用户名
            key: AQD9O45hiBQrDBAAsMYpN0ddCF/apJpYIoLokg==   # 密钥,采用 base64 编码
            caps: [mds] allow *                             # 权限
            caps: [mgr] allow *
            caps: [mon] allow *
            caps: [osd] allow *