DSAS開発者の部屋

  │                      │

┌┴┐                  ┌┴┐

│  │                  │  │ISPの上位ルータ

└┬┘                  └┬┘

  │                      │

〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜 責任分解点

  │                      │

┌┴┐                  ┌┴┐

│  ├─[ lb(active) ]─┤  │

│  ├─[ lb(backup) ]─┤  │

│  │                  │  │

│L2├─[    Web     ]─┤L2│

│SW├─[    Web     ]─┤SW│

│  ├─[    Web     ]─┤  │

│  │                  │  │

│  ├─[    SMTP    ]─┤  │

│  ├─[    SMTP    ]─┤  │

│  │                  │  │

│  ├─[    D B     ]─┤  │

│  ├─[    D B     ]─┤  │

│  │                  │  │

│  ├─[    NFS     ]─┤  │

│  ├─[    NFS     ]─┤  │

│  │                  │  │

│  ├─────────│  │

└┬┘                  └┬┘

  │  ＼              ／  │

  │    ＼          ／    │

  │      ＼      ／      │

  │        ＼  ／        │

  │          ×          │

  │        ／  ＼        │

  │      ／      ＼      │

  │    ／          ＼    │

  │  ／              ＼  │

┌┴┐                  ┌┴┐

│  │                  │  │

│  │                  │  │

│L2├─[    Web     ]─┤  │

│SW├─[    Web     ]─┤L2│

│  ├─[    Web     ]─┤SW│

│  │                  │  │

│  ├─[    D B     ]─┤  │

│  ├─[    D B     ]─┤  │

│  │                  │  │

│  ├─[    NFS     ]─┤  │

│  ├─[    NFS     ]─┤  │

│  │                  │  │

└─┘                  └─┘

• ポートVLAN、タグVLAN (802.1Q)
  
• リンクアグリゲーション（802.3ad 802.3ab）
  
• RSTP (802.1w)
  

ロードバランサがダウンしたら？

ロードバランサはアクティブ/バックアップ構成になっていて、keepalivedによりVRRPで互いにヘルスチェックしているので、アクティブサーバがダウンした場合は自動的にバックアップがアクティブに昇格し、サービス継続できます。

ロードバランサを復活させるには？

冒頭の図のように、構内のネットワークはフラットです。また、ロードバランサはLinuxでネットワークブートで起動しているので、適当なWebサーバや空いているサーバをネットワークブートすればすぐにダウンしたロードバランサの代替にできます。ちなみに、ネットワークブートするにはBIOSの設定を変更する必要があるのですが、それにはIPMIを使っています。

Webサーバがダウンしたら？

ロードバランサは定期的にプロトコルレベル(HTTPなど)のヘルスチェックを行っています。Webサーバがダウンすると、ロードバランサはそれを検知して当該サーバをサービスから外し、サービスを継続します。

SMTPサーバがダウンしたら？

Webサーバと同様に、ロードバランサがフロントにいるのでSMTPサーバが1台ダウンしただけではサービス停止には陥りません。

DBサーバ(MySQL)がダウンしたら？

MySQLのレプリケーションを行っているので、スレーブをマスタに昇格させてサービス復旧します。

NFSのストレージサーバがダウンしたら？

ストレージサーバは、LinuxのDRBDで冗長構成(アクティブ/バックアップ)になっています。また、keepalivedにより互いにヘルスチェックをしているので、アクティブサーバがダウンした場合は自動的にバックアップがアクティブに昇格し、サービス継続できます。

サーバのネットワークケーブルが断線したら？

Linuxのbonding device (Documentation/networking/bonding.txt) を使っているので、1本切れても大丈夫です。

スイッチがダウンしたら？

RSTPが働き、数秒で疎通が回復します。

スイッチのポートがハングしたら？

bonding deviceの死活監視はmii(miimon)ではなくarp(arp_ip_target)を使っているので、リンクしている状態でハングしても、bondingが不通を検知してアクティブなデバイス(eth0やeth1)が切り替わります。