OpenStack 博客 关于 OpenStack 的所有文字记录。

(转载自 Mirantis 官方博客)

正如 Florian Haas 在我之前帖子的评论中 指出的，我们的共享存储配置需要特别的注意事项，以避免当两个通过DRBD连接的主机试图同时管理LVM卷时发生数据损坏。通常，这些注意事项涉及到在‘双主’模式下运行DRBD时锁定LVM元数据操作。

让我们详细探讨一下。LVM锁定机制配置在/etc/lvm/lvm.conf的 [global] 部分。'locking_type' 参数在这里最为重要。它定义了LVM在更改元数据时使用的锁定类型。它可以等于

• ‘0’：完全禁用锁定——使用该选项很危险；
• ‘1’：默认，基于本地文件的锁定。它对集群和可能的元数据冲突更改一无所知；
• ‘2’：使用外部共享库，并通过 ‘locking_library’ 参数定义；
• ‘3’：使用内置的LVM集群锁定；
• ‘4’：只读锁定，禁止任何元数据更改。

最简单的方法是使用其中一个drbd对等节点的本地锁定，并禁用另一个节点的元数据操作。然而，这有一个严重的缺点：当创建新的卷组和逻辑卷时，它们不会在另一个“被动”节点上自动激活。问题在于这对生产环境不好，并且不能轻松自动化。

但是有另一种更复杂的方法。我们可以使用 Linux-HA（Heartbeat）配合 LVM资源代理。它自动化了共享存储上新创建的LVM资源的激活，但仍然没有适合“双主”DRBD操作的锁定机制。

值得注意的是，通过存储在仓库中的 **lvm2-cluster** Fedora RPM包可以实现对LVM的完整集群锁定支持。它包含 **clvmd** 服务，该服务在集群的所有主机上运行并控制共享存储上的LVM锁定。在这种情况下，我们集群中只有2个drbd对等节点。

**clvmd** 需要一个集群引擎才能正常工作。它由 **cman** 服务提供，该服务作为 **lvm2-cluster** 的依赖项安装（其他依赖项可能因安装而异）

(drbd-node1)# yum install clvmd
...
依赖关系已解决
================================================================================
软件包 架构 版本 仓库 大小
================================================================================
正在安装
lvm2-cluster x86_64 2.02.84-1.fc15 fedora 331 k
正在为依赖项安装
clusterlib x86_64 3.1.1-1.fc15 fedora 70 k
cman x86_64 3.1.1-1.fc15 fedora 364 k
fence-agents x86_64 3.1.4-1.fc15 updates 182 k
fence-virt x86_64 0.2.1-4.fc15 fedora 33 k
ipmitool x86_64 1.8.11-6.fc15 fedora 273 k
lm_sensors-libs x86_64 3.3.0-2.fc15 fedora 36 k
modcluster x86_64 0.18.7-1.fc15 fedora 187 k
net-snmp-libs x86_64 1:5.6.1-7.fc15 fedora 1.6 M
net-snmp-utils x86_64 1:5.6.1-7.fc15 fedora 180 k
oddjob x86_64 0.31-2.fc15 fedora 61 k
openais x86_64 1.1.4-2.fc15 fedora 190 k
openaislib x86_64 1.1.4-2.fc15 fedora 88 k
perl-Net-Telnet noarch 3.03-12.fc15 fedora 55 k
pexpect noarch 2.3-6.fc15 fedora 141 k
python-suds noarch 0.3.9-3.fc15 fedora 195 k
ricci x86_64 0.18.7-1.fc15 fedora 584 k
sg3_utils x86_64 1.29-3.fc15 fedora 465 k
sg3_utils-libs x86_64 1.29-3.fc15 fedora 54 k

事务摘要
================================================================================
安装 19 个软件包

我们只需要集群是为了使用clvmd；集群本身的配置非常基础。由于我们还不需要自动 fencing 等高级功能，我们指定了手动处理。由于集群中只有2个节点，我们可以告知cman。 **cman** 的配置位于/etc/cluster/cluster.conf 文件中

<?xml version="1.0"?\>
<cluster name="cluster" config_version="1"\>
  <!-- post_join_delay: 守护进程在节点加入域后
        fencing 任何受害者之前等待的秒数
  post_fail_delay: 域成员失败后，守护进程在
        fencing 任何受害者之前等待的秒数
  clean_start    : 防止守护进程可能进行的任何启动 fencing。
        它指示守护进程应假定所有节点
        在启动时处于干净状态。--\>
  <fence_daemon clean_start="0" post_fail_delay="0" post_join_delay="3"/>
  <clusternodes>
   <clusternode name="drbd-node1" votes="1" nodeid="1">
    <fence>
    <!-- 手动处理 fencing -->
     <method name="human">
      <device name="human" nodename="drbd-node1"/>
     </method>
    </fence>
   </clusternode>
   <clusternode name="drbd-node2" votes="1" nodeid="2">
    <fence>
    <!-- 手动处理 fencing -->
     <method name="human">
      <device name="human" nodename="drbd-node2"/>
     </method>
    </fence>
   </clusternode>
  </clusternodes>
  <!-- cman 双节点配置 -->
  <cman expected_votes="1" two_node="1"/>
  <fencedevices>
  <!-- 定义手动 fencing -->
   <fencedevice name="human" agent="fence_manual"/>
  </fencedevices>
</cluster>


**clusternode name** 应为完全限定域名，并通过 DNS 解析或存在于/etc/hosts 中。**votes** 的数量用于确定集群的 **仲裁**。在此例中，我们有两个节点，每个节点一票，并且需要一票来使集群运行（获得仲裁），正如 **cman expected** 属性所配置的那样。

我们需要配置的第二项是集群引擎（**corosync**）。其配置位于/etc/corosync/corosync.conf

compatibility: whitetank
totem {
  version: 2
  secauth: off
  threads: 0
  interface {
    ringnumber: 0
    bindnetaddr: 10.0.0.0
    mcastaddr: 226.94.1.1
    mcastport: 5405
  }
}
logging {
  fileline: off
  to_stderr: no
  to_logfile: yes
  to_syslog: yes
  # log file 的路径
  logfile: /var/log/cluster/corosync.log
  debug: off
  timestamp: on
logger_subsys {
  subsys: AMF
  debug: off
}
}
amf {
  mode: disabled
}

**bindinetaddr** 参数必须包含一个 *网络* 地址。我们将 **corosync** 配置为在 **eth1** 接口上工作，将我们的节点通过1Gbps网络连接起来。此外，我们还应该配置 **iptables** 以接受两个主机上的组播流量。

值得注意的是，这些配置在两个集群节点上必须相同。

在准备好集群之后，我们可以修改两个drbd连接节点上/etc/lvm/lvm.conf中的LVM锁定类型

global {
  ...
  locking_type = 3
  ...
}

在drbd对等节点上启动 **cman** 和 **clvmd** 服务，让我们的集群准备就绪

(drbd-node1)# service cman start
正在启动集群
检查集群是否已被禁用启动... [ OK ]
检查网络管理器... [ OK ]
全局设置... [ OK ]
加载内核模块... [ OK ]
挂载 configfs... [ OK ]
启动 cman... [ OK ]
等待仲裁... [ OK ]
启动 fenced... [ OK ]
启动 dlm_controld... [ OK ]
自行解禁... [ OK ]
加入 fencing 域... [ OK ]
(drbd-node1)# service clvmd start
正在启动 clvmd
激活 VG(s): 卷组“vg-sys”中有 2 个逻辑卷现在已激活
卷组“vg_shared”中有 2 个逻辑卷现在已激活
[ OK ]

现在，由于我们已经在共享存储上有了卷组，我们可以轻松地使其集群感知

(drbd-node1)# vgchange -c y vg_shared

现在我们在 VG 属性中看到“c”标志

(drbd-node1)# vgs
VG        #PV #LV #SN Attr    VSize   VFree
vg_shared   1   3   0 wz--nc  1.29t   1.04t
vg_sys      1   2   0 wz--n-  19.97g  5.97g

结果是，在vg_shared 卷组中创建的逻辑卷将在两个节点上都激活，并且为该组中卷的操作启用了集群锁定。LVM命令可以在两个主机上发出，**clvmd** 会处理可能的并发元数据更改。