PVE虚拟化平台（3）Proxmox VE 集群及ceph配置

前言

部署集群/ceph时使用故障转移专属网络(ens37)，与管理网络、业务网络隔离。虚拟机迁移或者故障恢复优先使用故障转移专属网络，在虚拟机迁移或者故障恢复的过程中会传输大量数据，占用网络大量带宽，与业务网络共同使用会导致业务网络缓慢。

1. 集群配置

1.1 创建集群

集群网络选择刚刚创建的故障转移专属网络为第一优先级，优先使用故障转移专属网络，如果故障转移专属网络与节点同时故障，则采用管理网络传输恢复数据，保障业务可用性。

1.2 在各个节点上加入集群

各个节点加入集群时也要注意指定故障转移专属网络为第一优先级

2. Ceph配置

2.1 在节点上安装Ceph

选择Ceph部署版本15.2

2.2 网络模式配置

public网络与Cluster网络隔开，防止ceph传输数据影响到业务网络

2.3 创建OSD

分别创建hdd类型和ssd类型，用于区别不同使用场景下使用不同类型的磁盘

2.4 创建磁盘类型规则

创建基于硬盘类型的规则(hdd_rule和ssd_rule)，将hdd类型的硬盘与ssd类型的硬盘区分，hdd用于存储普通数据，ssd存储有高速读写需求的数据

$ ceph osd crush rule create-replicated hdd_rule default host hdd
$ ceph osd crush rule create-replicated ssd_rule default host ssd

2.5 创建基于磁盘类型规则的Pool

注意选择磁盘类型规则,最大pd32,最小pd默认,其他默认,勾选添加存储。

2.6 各个节点安装Ceph后直接创建OSD即可

2.7 验证

ssd_data为12G
hdd_data为32G

2.8 创建ceph监视器和管理员

ceph监视器： 用于监视各个节点的Ceph状态，Ceph监视器最少3个，管理员与监视器共同运行
Ceph管理员： 当ceph监视器监测到Ceph当前状态异常时，正常状态的管理员变为活跃状态负责管理Ceph。管理员只有一个为活跃状态，剩余的为空闲状态。