RAID 6 か RAID 10 か、ファイルサーバはどちらにする？

ファイルサーバにはどんなRAIDが適切か

ファイルサーバを構築するにあたってストレージをどうするかという点について考察てみたいと思います。

HCI を当たり前のように組める中堅企業以上であればいざ知らず、小規模から中小企業あたりであればファイルサーバにRAIDコントローラーを挿してHDD複数台でRAID運用、というケースが割と多いのではないかと思います。

故障や復旧の手間、コストなど全体的なバランスから最近ではRAID 6もしくはRAID 10あたりが良く使われているようです。

RAIDについては素晴らしい解説がされているブログなどもあり、ここでは細かいところに踏み込みませんが、今回自社に導入するにあたりかなり悩んだためその経過をメモしておこうかと。

そもそもなんでRAIDにするかといえば

「ディスクの故障を前提とした耐障害性」＋「パフォーマンス向上」

を意図しているわけで。

RAIDが世に出た当初の目的からすれば、あまり高価でないディスクでも耐障害性を高めたいということなので、特に前者を意識してしまうのですが、数十人以上が同時アクセスするファイルサーバですからパフォーマンスもアップしたいところです。

RAID 6 はパリティ生成による書き込みパフォーマンスの低下が指摘されてる一方で、ストライピングによる読み込みパフォーマンスの向上が期待されるため、どちらかというと読み込みが多いシーンでは有利です。耐障害性も計算上ではRAID 10より高いですが、リビルド負荷が大きいのでリビルド中は全体のパフォーマンスが下がってしまうなど、ふだんはいいけれど復旧時が大変という印象。

RAID 10は書き込みはシンプルなためランダムアクセスでも速度が低下しにくく、というかむしろディスクを増やすごとにストライピングのメリットも効いてくるためRAID 6より有利です。逆にディスク台数が6台くらいまでであれば4台でストライピングされるRAID 6のほうが3台でストライピングされるRAID 10より読み込みが有利なのではないかということは理解できます。


ファイルサーバにどちらを採用するかという点で非常に悩みました。
今回使っている DELL PERCH730 は意外とRAID 6が速いという情報もあり、もともと容量小さいSASディスクを有効活用しようとするとRAID 6に気持ちが揺れます。

一方でファイルサーバとして複数が同時アクセスし続けるハードウエアのため、少しでもパフォーマンスが高いほうがありがたいというのもあります。それほど大きくないExcelファイルなどへのアクセスがほとんどで、ランダムRead、ランダムWriteがほとんどであると考えるとRAID 10のほうが実用環境で有利な感じがします。

故障時のディスク交換、リビルドに関してもRAID 10のほうがリビルド中の負荷が少なく、ホットスワップのメリットが活かしやすい。

思い悩んだ結論としては、やっぱりRAID 10かなと。
容量についてはあまりアクセス頻度が高くないデータはアーカイブ中心の別ファイルサーバに逃がすとして、比較的頻度が高いデータに絞れば数TBでも足りそうです。
（動画や巨大な画像等は使わない業種のため）

耐障害性としては同じグループのドライブ（3台）が同時にすべて故障するというかなりのレアケースでない限りはデータロスすることは無いので、実運用上問題なさそうです。リビルド負荷も低そうですし。

アーカイブ中心のファイルは別途SATAの大容量ディスクでRAID 1を組んだサーバに入れておきます。こちらはアクセス負荷が少ないのでパフォーマンスはあまり意識しなくても良いのでWesterm Digital の RED といった回転数抑え目ディスクで十分です。


今回のファイルサーバ構成
・起動用ドライブ HDD 2台の RAID 1 構成
・データ用ドライブ HDD 6台の RAID 10 構成
の2仮想ドライブにしてみました。

ついでにアーカイブを中心としたファイルサーバを併用しました。
アーカイブ用ファイルサーバの構成
・ドライブは SATA HDD 2 台の RAID 1 構成
・OSドライブとデータドライブはパーティションを分けて運用
といった1仮想をソフトウエアRAIDで組みます。

RAID を運用するにあたって

RAID 運用をしている多くの人は故障時のことをあまり意識していないと思います。
まぁ、通常のリース期間ではRAID1以上を組んでいると意外とデータロスする確率が低いのでしょうが...

結局HDDが故障しても気が付かなくて、RAIDの冗長性が無くなった後にもう一台壊れて気づくなんてことであれば、初めからRAIDを組まなかったケースと比べて単にオシャカになるまでの時間が伸びただけです。（それはそれでメリットありますが）

RAIDを運用し始めたら故障時の交換を意識して運用すべきだと強く思います。
できれば運用開始前に一度意図的に1つディスクを引っこ抜いて、違うディスクで正常にリビルドできるかくらいを確かめたいところです。

HDDの故障だけを想定して4時間対応などの高い保守に入るくらいであれば、1本余計にディスクを買っておくのもありです。
SAS 2.5インチの容量大き目（1TB以上）あたりだとなかなか入手が困難だったりもしますので、多少高めでもメーカー純正品を手配しておくか、ディスク構成を見直してホットスペアにしておくことも要検討です。

私はいまのところ毎晩差分バックアップを取っておいて、障害発生時にはいったん直近の差分データを取ったうえでメーカー保守待ちという体制です。
当日午前1時に取得したバックアップからの差分だけであればそれほど時間がかからないので、メーカーの保守要員が到着するまではこれを頻繁に取得してデータロスを防ぎます。
RAIDディスク交換中にやらかしがあってもいいように、どちらにしてもバックアップを取ることになりますし。

この辺、大規模になってそんなこと現実的に無理な場合はやっぱり保守をがっちり入るのと、そもそものハードウエアをきちんと冗長化（HCIやら外部のバケモノディスクなどを使って）しておけば良いのでしょうね。

DELL iDRAC 8 でリモートアクセス

iDRAC 8 で HTML5 を利用したリモートアクセス。

iDRAC 8のウェブからアクセスするためには iDRAC 8 Enterprise 以上が必要。
Enterprise 以外では帯域外の管理ができない（と思う）ので、サーバルームにサーバをおいておいて、外部から管理する必要がある実運用サーバには必須かと。

仮想コンソールへのリモートアクセスは、デフォルトで java を使うようになっていますが、いまさら JRE をクライアントに入れるのもなんですし、HTML 5でアクセスできるんだから、それでつなごうというわけです。

HTML 5でのアクセスは java プラグインを使ったアクセスに比べて低機能な印象を受けますが、たいていのことは iDRAC 8のウェブからも実行できるので、まぁ日々のメンテナンスなどには十分です。


設定の変更

1. iDRAC 8にログイン
2. 左のメニュー「概要」－「サーバー」を選択
3. 右上あたりの「仮想コンソールプレビュー」の「設定」を選択
4. プラグインの種類を「HTML 5」、キーボード/マウスの連結状態を「自動連結」
5. 右下の適用ボタンをクリックして前の画面に戻る
6. 「仮想コンソールプレビュー」の「起動」をクリック
7. 証明書エラーが出てもそのまま続行
8. リモート接続完了


再起動時にメモリがコケたり、起動順序が間違えていてCDトレイに残したディスクからブートしてしまったなんて時にはこの iDRAC はなかなか便利です。
操作性は java プラグインのほうがまだまだ良い感じではありますが、今後 iDRAC 9 以降ではその差も減ってくるのでしょう。

DELL PowerEdge 14th Generation Servers

Intel がいうところの「ここ10年で最大の進化」である Xeon Scalable Family の発表を受けて、DELL から14世代の PowerEdge が正式発表となりました。

早速 DELL EMC のUSサイトで情報見てみましたが、やっぱりいいですね。
いまのトレンドを全部押さえましたって感じで。

今回いちばん気になったのが、2ソケット1Uサーバの PowerEdge R640。
これまでも PowerEdge シリーズはこの 6x0 シリーズが 1U 最高スペックで、Wave1としてリリースされていたので、今回も予想通りの展開です。

メモリはうちくらいの規模の企業だとそれほど積まないのですが、単体で1.5TBまで詰めるみたいです。高密度サーバなのでメモリどんどん積んでオールフラッシュ、仮想化で詰め込むサーバという感じです。
数百人くらいの規模だと、クラウドも活用したら本社のデータセンターは全部で24Uでいけちゃうんじゃないかと思えてきます。

ドライブは単体で2.5"を12ドライブ（前面10、背面2）、起動ドライブとしてM.2 SSDをRAID構成で組めます。
RAIDコントローラはなぜか従来と同じ H330、H730p が用意されていますが、追加として H740P（8GBキャッシュ。最後の「P」が資料によって大文字だったり小文字だったり、正式名称が良くわからない。）が追加されています。そもそもハードウエアのRAIDコントローラが今後いるのかどうかはあるにしても、RAID 6 あたりが組みやすくなるかもしれません。

オールフラッシュの流れもあり SAS SSD がプッシュされている感じがしますね。
仮想化ホストをたくさん動かすこと考えると、ランダムアクセス性能が圧倒的に高い SSD 中心に組みたくなります。まぁ、全部 SSD だと社内稟議が通らないほど膨大なコストになるため、個人的にはお値段考えて今年の段階では SAS HDD を中心に考えています。
R640は仮想化ホスト前提の作りなので、M.2ドライブやNVMeドライブも結構詰めます。

iDRAC9はまだ実物見てないので何とも。
前評判高いみたいなので、機会を見て DELL のショールームで見てみようかと。
この手の帯域外管理システムは一度使うと戻れません。うちでは新規で購入するサーバは iDRAC Enterprise 以上、PCならば vPro 搭載以外は考えられません。
Windows Update のため遠隔から再起動するときなんて、これらの帯域外管理ができないと、たまたまメモリエラーで起動ストップなんてことになると目も当てられません。
（過去に何度か経験ある）

ネットワークはドーターカード形式なので、Intel 標準にできるのが良いですね。サーバーとして半端ないトラフィックを受け付けるとなると、いまだインテルに一日の長があるように感じています。（感じるだけかも）
5年使う前提で 10GbE 前提の X550 QP でいくか、現実解として X550 DP + I350 DP のコンビにするか。PCI 使わなくても Quad Port までいけます。
仮想化中心であれば、ドーターカードはホストアクセスのために使い、仮想化ゲストは PCIe Gen3 に NIC ばんばん挿してそちらを使えばよいのかと。
10GbE はまだまだスイッチが高いので、1GbE の QP でリンクアグリゲーションして負荷分散というのが小規模企業の現実的なところでしょうか。

VDIの利用が考慮されているのか、NVIDIA NVS310をビルトインすることもできます。
もうこの辺りになってくると Active Directory を導入してフォルダリダイレクトしているようなケースだと、事務職レベルの負荷だと手元にPC要るのかって話です。



超ざっくりですが、Xeon Silver か Gold で 2S 構成にして、メモリ64GB以下、SAS HDD 中心で組んで、OSは Windows Server Standard 構成にすると 120万円～150万円くらいっぽいです。
もう少しメモリ積んで Windows Server を Datacenter にしても250万円でおつり来るくらいなので、5年リースで月額5万円以下。乱立しているアプリケーションサーバを集約するにはいいですね。Windows 10 と RDS のライセンス入れておうちからVPNアクセスのVDIサーバとしてもいいかな。


年末に向けて R440 なども予定されているみたいですし、AMD のアナウンスによれば、EPYC搭載の PowerEdge 出るそうなので、今年後半から来年度にかけては技術交代が目覚ましいことが予想されます。
R3x0/R2x0シリーズはついこの前に Kaby Lake ベースに変わったばかりだから、もう少し後ですかね。この辺も Xeon Bronze もしくは Xeon Silver を中心とした構成になるのでしょうか。個人的にはこのゾーンは逆に AMD が総ナメしてくれても面白いなぁと。


枯れた技術を中心にサーバを構築するならば、現行の 13G サーバはなかなかのお値段で手に入れることができるようです。
Skylake-SP は未知数なところもありますから現行の E5 v4 を買い納めしておくのもいいかもしれません。まぁ、Skylake-SP が安定するころには次の Cascade Lake が見えてきちゃったりしそうなので、やっぱり会社の基本サイクルに忠実に従って、その時点でやや枯れた技術にするほうが安心です。

年末から来年にかけての調達のころには今回の 14th Generation も評価が定まってくることを期待します。

次期ネットワークでは何とか vSAN とか入れたいのですが、もう少し価格下がらないかな。いまのところ3ノードでシステム全体1,500万円前後では手が出ませんが...
（3ノードだとHDDでいうところのRAID5だから、1ノードに障害でたら復旧するまで気が気でなくなってしまう。最低4ノードいるとなると、さすがに厳しい）


HPEさんの10Gサーバはどう出てくるか。