IIJさんのコンテナ型データセンター見学会

IIJさんが自社のクラウドサービスIIJ GIOに利用するために開発と実証実験を行っているコンテナ型データセンターの見学会に参加してきました。

IIJさんは、あえてコンテナ型データセンターとは呼ばずに次世代モジュール型エコ・データセンターと呼んでいます、理由は後で出てきます。

今回見学させて頂いた施設は、保安上の理由から場所は原則非公開です。（中部地区某所ってところまでは公開してOK）

現在建設中の本番データセンターの場所は、寒からず・暑からずの中国地方だそうです。（ネットで検索すると自治体名まで出てきます）

施設に到着して、実際に見学する前に、レクチャーを受けました。内容を抜粋すると以下のような感じです。

なぜIIJはコンテナ型データセンターをつくるのか？

従来のデータセンターは、建築コストが高い
従来のデータセンターは、一度にまとめて広いフロアを建設しないといけない
従来のデータセンターは、建築に長い時間が必要なため、需要発生から供給までのリードタイムが長い
リードタイムが長いために、大量に在庫（空きラック）を抱えるリスクを負う必要がある
これらの問題を解決するためにコンテナ型データセンターを選択して検証して実際に建設することにした。

IIJ 次世代モジュール型エコ・データセンターの特徴

外気導入型空冷で通年PUE 1.2
日本の事情に合わせた設計
屋根無し（コンテナを屋外に設置）
コモディティサーバを利用（コンテナ型専用タイプは利用しない予定）
N+１タイプの空調装置（コンテナごとに1台と予備1台）

実証実験の概要

実証実験のパートナーと実施
コンテナ製造　NLMエカル（日本軽金属の子会社でコンテナ製造が本業）
電気空調設備　東芝
防災消火設備　能美防災
ラック分電盤電流測定器　河村電器産業
IT機器　国際産業技術（OTTOさん）
外気冷却方式の実証実験が主目的である
ASHRAE（アメリカ暖房冷凍空調学会）の温湿度条件ASHRAE class1&2 recommended level(2008 Version)に収める制御を行う

空調システムの動作モード概要

中間期　外気運転モード（外気をそのままコールドエリアに供給、ホットエリアの排熱は全て排気）
冬期　　混合運転モード（冷たく乾燥しすぎの外気をホットエリアの排気と混合して、適切な温湿度にしてコールドエリアに供給）
夏期　　循環運転モード（外気は利用せず、冷却機を稼動して運転）

参加者にレクチャーするIIJ堂前さん

レクチャー中に行われた質疑応答の内容を抜粋すると以下の通りです。

コンテナ型データセンターの何が１番のメリット？

リードタイムの短縮

コンテナのサイズは？

幅3m、高さ3m 、奥行き 8m で所謂ISO規格コンテナではない
ISO規格コンテナでは、幅が狭まい（幅は2.438m、高さは2種類2.591mと2.896m長さも2種類6.096mと12.192m）
ISO規格コンテナではないので、モジュール型と呼んでいる
日本の道路交通法上、輸送に許可を必要とするサイズなので、将来的には許可が不要なサイズに変更する予定

コモディティサーバを利用する理由は？

専用設計のサーバを利用するとリードタイム短縮効果が薄れる可能性がある
大きな仕様変更には、サーバメーカーは消極的
通常のサーバから冷却ファンを抜いた仕様などは、PUE値の比較では不利になるが利用を考えている

PUE値が不利になる理由は？

PUEは、データセンター全体の消費電力をIT機器の消費電力で割った値
サーバから冷却ファンを取り外すと、そのかわりに空調装置側の負荷（電力）が増えることになる
冷却ファンの電力がIT機器の消費電力から減って、空調装置側の電力が全体の消費電力に追加されることになり、PUEの値は大きく（悪く）なる
一般的に、サーバの冷却ファンよりも空調装置の大型ファンの効率がよいので、全体の消費電力を押さえることができるのに、PUEの値は悪くなる
PUEの問題点は、さまざま指摘されているが、他の指標（DCiE・DPPE・etc）にも問題がないわけではなく、またPUE程認知されていない。

他の指標の問題点ってなに？

自然エネルギーや再生可能エネルギーをつかっても評価されない

温度及び湿度に下限がある理由は？

温度の下限は、モータ等に利用されているオイルの粘性など
湿度の下限は、静電気の発生を抑えることが理由
温度の上限は、あらゆる部品の故障率や寿命に関連
湿度の上限は、結露及び腐食

サーバのキッティングは、どこで行うの？

実証実験では、コンテナを設置後に行った
本番では、運送前にキッティングを行う予定

コンテナに輸送及び地震に関連する振動対策はあるのか？

Oracle（元Sun）のコンテナ型にあるコイルスプリングのような対策はしていない
輸送時は、エアサス車を利用することで対応可能だと考えている
地震対策としては、震度7レベルの耐震設計を行っている

屋根無しで大丈夫なのか？

建築基準法などの法規に関連する問題は、~~データセンター特区でクリアできる予定~~(2010/8/10 23:22修正）国土交通省からコンテナ型データセンターは建築物扱いされないとの検討結果が発表されたのでクリアしている（参考構造改革特別区域推進本部資料1 PDF・検討要請に対する各府省庁からの回答　国土交通省 PDF 6ページ）
実証実験の設備は、４号建築物の特例でクリアしている（コンテナの製造を担当しているNLMエカルには、携帯電話基地局などでの実績があり、また1級建築士が在籍している）
屋根有りを選ぶ海外事例もあるので、情報収集は続けていく予定

障害対応は？

冷却機の障害には、N+1構成で対応（障害時には各ユニット間の接続部分にあるダンパー（空気弁）を開放して全体で支えるモードに移行する）
電源装置の障害には、自家発電機などで対応
人が作業中に空調が故障するケースもテストしたが、無事生還しております。
Googleなどの行っているデータセンターレベルでの切り替え等は、今後の課題

サーバ故障時の対応方法は？

定期メンテナンス時にまとめて修理交換を行う
故障したサーバを完全にほっておく手法はとらない予定

なぜ、中部地方を実証実験の場所に選んだの？

実証実験の場所と立地条件とは特に関連はない
この実証実験で得られた情報と日本全国の気象情報を元に、大体の指標を得ることはできる

コンテナ内での負荷の偏りには対応しているのか？

負荷が偏った状態でのテストを行ったが、熱の偏り等は、問題ないレベルで収束することを確認済

発熱量の大きいCPUやメモリと比較的少ないHDDを別のコンテナに収容することは検討しているか？

コンテナごとに空調を調整できるので、メリットはあるかもしれない
Flash SSDが主流になれば、メリットはなくなるかもしれない

ネットワーク機器への対応は？

エアフローの観点から、前後方向での吸排気に対応している機器を使いたい
今回、横方向の製品を一部使っているが、たぶんちゃんと冷えていない筈

海外の事例にある、コンテナの2階建ては？

やらない予定
地震対策や、下になるコンテナの強度アップにコストが必要
コストに釣り合う効果が専有面積を減らすことにはない

枠を作ってコンテナを収める工法は？

一般論として建設費が高くなる
土地代が安い場所を選択しているので、採用はないと思われる

直流電源の検証予定は？

直流給電の規格が落ち着いたら考えます。

防災対策は？

地震対策は、震度7クラスに耐える設計を行っている
火災対策は、本番環境では窒素消火設備を利用予定

防犯対策は？

用地の周囲に壁を作る予定
無人運用ではなく、管理棟もあり警備員等も配置する予定

参加者の質問に答えるIIJ久保さん

質疑応答が一段落ついたところで、実際に実証実験中の設備を見学させていただきました。

実物を見ながらの解説の内容を抜粋すると以下のような感じです。

この形になるまでに、幾つか変更を行っている
空調用コンプレッサーの変更
排気側ファンを外した
加湿用の給水パイプはこれ（写真参考）
ITモジュールと空調モジュールは、フレシキブルな構造で接続(地震対策)
LED照明を利用
扉は２重で前室あり（外部の庇は、小さすぎた・・・）
前室に配電盤を設置
実証実験で利用しているサーバは、熱源として利用
OpenSSLのベンチマークコマンドで熱量を制御
温度湿度センサー（ストロベリー・リナックス製）を計測用に設置
今日は、見学なので6割程度の負荷で運用
最大負荷だと、凄い風量（最大27000立方メートル毎分）になる（6割でも凄い風量でした）
普通の煙センサーは、天井設置しますが、風量が凄すぎて天井では反応しないため、排気側ダクト前に設置している。しかも超高感度煙センサーの中でもより感度の高い製品を採用している
空調制御用の温湿度センサー、特に温度センサーは応答時間が極めて短いものを利用している