LifeKeeper for Linuxでスプリットブレインを発生させてみた。

こんにちは、SCSKの伊藤です。

クラスタシステムを使用する上で特に注意したいのがスプリットブレイン。
スプリットブレインが発生した場合の業務影響は、正直考えたくないほどです。

本記事では、LifeKeeper for Linuxで実際にスプリットブレインを実際に発生させて動きを見てみようと思います。

 

スプリットブレインとは

スプリットブレインとは、ノード間の通信断により互いを障害と誤認して複数ノードで同時にサービスが動作してしまう状態を指します。

複数ノードでサービスが動作してしまうと、共有ディスクやデータへの重複書込みが発生して、データ破損やサービス不整合を招く可能性があります。

このため、LifeKeeperとしても様々なスプリットブレイン対策を用意しております。

 

■スプリットブレイン及びフェンシングの概要

 

スプリットブレインを発生させてみた。

アクティブサーバとスタンバイサーバ間のすべてのコミュニケーションパスをわざと切断することでスプリットブレインを発生させて、ファイル不整合が発生するかどうかを試してみたいと思います。

 

使用する環境は以下の通り。

■環境情報

ホスト名 アクティブサーバ = RHEL8S01
スタンバイサーバ = RHEL8S02
オペレーティングシステム Red Hat Enterprise Linux release 8.6
LifeKeeper製品 LifeKeeper for Linux v10.1

■コミュニケーションパス

優先度1 192.168.12.101 / 192.168.12.102
優先度2 192.168.11.101 / 192.168.11.102

■リソース階層

QSP-rsyslog-inst1 QSPリソース( /share/lifekeeper.log へのログ出力を制御)
 /share ファイルシステムリソース
  datarep-share データレプリケーションリソース(192.168.12.101<->192.168.12.102)

 

1.LifeKeeperWMCにログインして、リソースがアクティブサーバで動作していることを確認

 

2.スプリットブレイン時の動作確認用に、アクティブサーバにて『QSP-rsyslog-inst1』リソースで制御しているログファイルにテストログを送信

[root@RHEL8S01 ~]# logger -p local6.info TEST_LIFEKEEPER_LOG_Split-brain-test_START
[root@RHEL8S01 ~]# grep TEST_LIFEKEEPER /share/lifekeeper.log
2026-11-06T16:04:00.189061+09:00 RHEL8S01 root[6557]: TEST_LIFEKEEPER_LOG_Split-brain-test_START

 

3.アクティブサーバとスタンバイサーバのコミュニケーションパスを切断

 

4.アクティブサーバとスタンバイサーバの両方でリソースが起動しており、スプリットブレインが発生していることを確認

 

5.アクティブサーバとスタンバイサーバの両方で『QSP-rsyslog-inst1』リソースで制御しているログファイルにテストログを送信

[root@RHEL8S01 ~]# logger -p local6.info TEST_LIFEKEEPER_LOG_`uname -n`_message
[root@RHEL8S01 ~]# grep TEST_LIFEKEEPER /share/lifekeeper.log
2026-11-06T16:04:00.189061+09:00 RHEL8S01 root[6557]: TEST_LIFEKEEPER_LOG_Split-brain-test_START
2026-11-06T16:05:13.813728+09:00 RHEL8S01 root[7146]: TEST_LIFEKEEPER_LOG_RHEL8S01_message
[root@RHEL8S02 ~]# logger -p local6.info TEST_LIFEKEEPER_LOG_`uname -n`_message
[root@RHEL8S02 ~]# grep TEST_LIFEKEEPER /share/lifekeeper.log
2026-11-06T16:04:00.189061+09:00 RHEL8S01 root[6557]: TEST_LIFEKEEPER_LOG_Split-brain-test_START
2026-11-06T16:05:58.694702+09:00 RHEL8S02 root[6690]: TEST_LIFEKEEPER_LOG_RHEL8S02_message

 

6.アクティブサーバとスタンバイサーバのコミュニケーションパスを接続し、ステータスが正常(緑)になったことを確認

 

7.アクティブサーバとスタンバイサーバそれぞれのサーバステータスが正常(緑)になったことを確認
  ※この時点ではスプリットブレインは改善しない

 

8.表示され続けるEMERGアラートに従い、スタンバイサーバのリソースを停止

<EMERGアラート>

quickCheck[13372]:EMERG:dr::datarep-share:104124:WARNING: A temporary communication failure has occurred between systems RHEL8S01 and RHEL8S02. In order to avoid data corruption, data resynchronization will not occur. MANUAL INTERVENTION IS REQUIRED. In order to initiate data resynchronization, you should take one of the following resources out of service: datarep-share on RHEL8S01 or datarep-share on RHEL8S02. The resource that is taken out of service will become the mirror target.

 

9.スタンバイサーバのリソースが停止し、データレプリケーションリソースが『Target』として組み込まれたことを確認

 

10.『QSP-rsyslog-inst1』リソースで制御しているログファイルにアクティブサーバ側のログが表示されることを確認

[root@RHEL8S01 ~]# grep TEST_LIFEKEEPER /share/lifekeeper.log
2026-11-06T16:04:00.189061+09:00 RHEL8S01 root[6557]: TEST_LIFEKEEPER_LOG_Split-brain-test_START
2026-11-06T16:05:13.813728+09:00 RHEL8S01 root[7146]: TEST_LIFEKEEPER_LOG_RHEL8S01_message

 

11.スタンバイサーバ側でログを確認するため、スイッチオーバーを実施

 

12.スタンバイサーバでリソースが起動していることを確認

 

13.『QSP-rsyslog-inst1』リソースで制御しているログファイルにスタンバイサーバ側のログが表示されないことを確認

[root@RHEL8S02 ~]# grep TEST_LIFEKEEPER /share/lifekeeper.log
2026-11-06T16:04:00.189061+09:00 RHEL8S01 root[6557]: TEST_LIFEKEEPER_LOG_Split-brain-test_START
2026-11-06T16:05:13.813728+09:00 RHEL8S01 root[7146]: TEST_LIFEKEEPER_LOG_RHEL8S01_message

 

このように、スタンバイサーバにて出力されたログ「TEST_LIFEKEEPER_LOG_RHEL8S02_message」が消えていることが確認できました。
本テストでは単純なログファイルですが、これがデータベースファイルなどであった場合はデータ不整合などが発生する可能性考えられます。

 

スプリットブレインの回避も試してみた。

LifeKeeperのスプリットブレイン対策の一つとして、「Quorum/Witness Server Kit」が用意されております。

 

先ほどスプリットブレインを発生させた環境にて、Quorum/Witness サーバを追加した場合にスプリットブレインが回避できるかを試してみたいと思います。
基本的に、本項で操作する内容は「スプリットブレインを発生させてみた。」と同様です。

 

使用する環境は以下の通り。

■環境情報

ホスト名 アクティブサーバ = RHEL8S01
スタンバイサーバ = RHEL8S02
Quorum/Witnessサーバ = RHEL8SQW
オペレーティングシステム Red Hat Enterprise Linux release 8.6
LifeKeeper製品 LifeKeeper for Linux v10.1

■コミュニケーションパス
【アクティブサーバ / スタンバイサーバ】

優先度1 192.168.12.101 / 192.168.12.102
優先度2 192.168.11.101 / 192.168.11.102

【アクティブサーバ / Quorum/Witnessサーバ】

優先度1 192.168.10.101 / 192.168.10.103

【スタンバイサーバ / Quorum/Witnessサーバ】

優先度1 192.168.10.102 / 192.168.10.103

■設定値(/etc/default/lifeKeeper)
【RHEL8S01 / RHEL8S02 共通】

QUORUM_MODE=majority
WITNESS_MODE=remote_verify
QUORUM_LOSS_ACTION=fastkill

【RHEL8SQW】

QUORUM_MODE=none
WITNESS_MODE=none

■リソース階層

QSP-rsyslog-inst1 QSPリソース(/share/lifekeeper.logへのログ出力を制御)
 /share ファイルシステムリソース
  datarep-share データレプリケーションリソース(192.168.12.101<->192.168.12.102)

 

1.LifeKeeperWMCにログインして、リソースがアクティブサーバで動作していることを確認

 

2.スプリットブレイン時の動作確認用に、アクティブサーバにて『QSP-rsyslog-inst1』リソースで制御しているログファイルにテストログを送信

[root@RHEL8S01 ~]# logger -p local6.info TEST_LIFEKEEPER_LOG_Split-brain-test_START
[root@RHEL8S01 ~]# grep TEST_LIFEKEEPER /share/lifekeeper.log
2026-11-12T13:27:10.511605+09:00 RHEL8S01 root[36445]: TEST_LIFEKEEPER_LOG_Split-brain-test_START

 

3.アクティブサーバとスタンバイサーバにてコミュニケーションパスで使用してるネットワークのケーブルを切断

 

4.アクティブサーバのみでリソースが起動しておりスプリットブレインが発生していないことを確認

 

5.アクティブサーバとスタンバイサーバの両方で『QSP-rsyslog-inst1』リソースで制御しているログファイルにテストログを送信

[root@RHEL8S01 ~]# logger -p local6.info TEST_LIFEKEEPER_LOG_`uname -n`_message
[root@RHEL8S01 ~]# grep TEST_LIFEKEEPER /share/lifekeeper.log
2026-11-12T13:27:10.511605+09:00 RHEL8S01 root[36445]: TEST_LIFEKEEPER_LOG_Split-brain-test_START
2026-11-12T13:32:41.902553+09:00 RHEL8S01 root[37855]: TEST_LIFEKEEPER_LOG_RHEL8S01_message
[root@RHEL8S02 ~]# logger -p local6.info TEST_LIFEKEEPER_LOG_`uname -n`_message
[root@RHEL8S02 ~]# grep TEST_LIFEKEEPER /share/lifekeeper.log
grep: /share/lifekeeper.log: そのようなファイルやディレクトリはありません
スタンバイサーバはファイルシステムリソースが起動しないためログファイルが無い状態が正常。

 

6.アクティブサーバとスタンバイサーバにてコミュニケーションパスで使用してるネットワークのケーブルを接続

 

7.アクティブサーバとスタンバイサーバそれぞれのサーバステータスが正常(緑)になったことを確認

 

8.『QSP-rsyslog-inst1』リソースで制御しているログファイルにアクティブサーバ側のログが表示されることを確認

[root@RHEL8S01 ~]# grep TEST_LIFEKEEPER /share/lifekeeper.log
2026-11-12T13:27:10.511605+09:00 RHEL8S01 root[36445]: TEST_LIFEKEEPER_LOG_Split-brain-test_START
2026-11-12T13:32:41.902553+09:00 RHEL8S01 root[37855]: TEST_LIFEKEEPER_LOG_RHEL8S01_message

 

9.スタンバイサーバ側でログを確認するため、スイッチオーバーを実施

 

10.スタンバイサーバでリソースが起動していることを確認

 

11.『QSP-rsyslog-inst1』リソースで制御しているログファイルにスタンバイサーバ側のログが表示されないことを確認

[root@RHEL8S02 ~]# grep TEST_LIFEKEEPER /share/lifekeeper.log
2026-11-12T13:27:10.511605+09:00 RHEL8S01 root[36445]: TEST_LIFEKEEPER_LOG_Split-brain-test_START
2026-11-12T13:32:41.902553+09:00 RHEL8S01 root[37855]: TEST_LIFEKEEPER_LOG_RHEL8S01_message

 

このように、スタンバイサーバからデータ領域の書き込みが制限されたままであり、スプリットブレインも発生していないことが分かります。

 

おまけ

1.アクティブサーバとスタンバイサーバ間のコミュニケーションパスが全断している状態である

 

2.アクティブサーバとQuorum/Witnessサーバのコミュニケーションパスを切断

 

3.設定値「QUORUM_LOSS_ACTION」に『fastkill』を指定していることによりアクティブサーバがOS停止する
  ※本検証環境は「Oracle VM VirtualBox」を使用しているため下記の画面になる

 

4.スタンバイサーバへのフェイルオーバーは行われずリソースは起動しない

 

これは、「Witness check」がアクティブサーバとスタンバイサーバ間のコミュニケーションパス全断時に “1 度だけ” 実行される仕様であるためです。
アクティブサーバとQuorum/Witnessサーバのコミュニケーションパス切断時に「Witness check」が実行されないことで、スタンバイサーバからアクティブサーバの停止を確認できずフェイルオーバーも行われません。

 

Quorum/Witnessサーバとアクティブ・スタンバイサーバ間のコミュニケーションパスを切断した後に、アクティブサーバとスタンバイサーバのコミュニケーションパスを切断した場合は、アクティブサーバのリソースが停止してフェイルオーバーはされません。
Quorum/Witnessサーバとアクティブサーバ間のコミュニケーションパスを切断した後に、アクティブサーバとスタンバイサーバのコミュニケーションパスを切断した場合は、アクティブサーバのOSが停止してリソースがフェイルオーバーします。

 

さいごに

スプリットブレインは業務インパクトが大きいため、各クラスタ製品で対策を講じております。
LifeKeeperとしても、今回紹介したQuorum/Witnessサーバを使用しないケースでの対策も用意されております。

本記事が少しでも参考になれば幸いです。

 

LifeKeeperについて詳しい内容をお知りになりたいかたは、以下のバナーからSCSKLifekeeper公式サイトまで

×
タイトルとURLをコピーしました