Facebookに日々20億枚シェアされている画像はこのように保管されている

SHARE:
Above: A Facebook cold storage drive tray. Image Credit: Facebook
上:Facebookのコールドストレージのドライブトレイ
Image Credit: Facebook

あまり見ることのないとても古い写真をきちんとしまっておき、ユーザが見たいと思ったときにすぐに呼び出して見られるように、Facebookがいろいろと力を尽くしている。オレゴンとノースカロライナにあるFacebookのデータセンターには2つのコールドストレージが整備されていて、Facebookのインフラチームがそこでアイデアを実行してきた。Facebookは本日、そのアイデアの多数を発表している。

Facebookでは毎日20億枚の写真がシェアされており、Facebookは効率的にこれらを保管する必要がある。そしてその規模に対処できるようハードとソフトの両面で改良を実施した。

コールドストレージの建物内にある個々の大きな部屋、またはデータホールでは現在1エクサバイト、すなわち1000ペタバイト、100万テラバイトまたは10億ギガバイトの情報処理が可能で、個々の棚には2ペタバイトを収容できると、本日FacebookのKrish Bandaru氏およびKestutis Patiejunas氏はブログに投稿した(編集部注:原文掲載5月7日)。

GoogleやMicrosoftなどのウェブ関連会社もインフラ環境のカスタマイズ作業を近年大々的に実施してきたが、その中でもFacebookの取り組みは透明性は高く、2011年に他社とハード面の設計を共有するためにオープンコンピュートプロジェクトを立ち上げた。Facebookのコールドストレージシステムは数多くあるオープンコンピュートの要素の1つである。

投稿記事によれば、現在では数百ペタバイトのデータを「保護」しているコールドストレージシステムに関して、これまで公開していない部分もあったという。

本日のブログ投稿の要点は以下の通り。

  • これらの設備は従来のストレージサーバーの4分の1程度の電力しか使わない。
    1度に1つのドライブのみが作動するように、ハードディスクコントローラーのファームウェアをアップデートした。
  • 1ストレージノードあたりのファンの数を6から4に減少した。
  • パワーシェルフは3台から1台に減少した。
  • 1シェルフあたりに必要な電源は7から5に減少した。
  • Facebookが遭遇した問題―システムで動かすにはラックが重すぎて、設置したい場所へ移動させることができなかった。Bandaru氏とPatiejunas氏によればこうだ。「例として言えば、ある試運転でシステムが完全に停止してしまい、データセンターの担当者がラックを動かすことができないことにこのとき気づいたんです。このラックはOpenVaultシステムの改良型なので、楽に移動できた元のラックと同じキャスターを取り付けました。ところが4TBのドライブを480個積んだら全体重量が1100 kg以上になってしまい、ゴム製の車輪が見事に潰れてしまいました。ここまで重いラックを配備したのは初めてでしたし、元の開発プランに含まれていたものでもなかったものですから。」
  • Facebookはいかなるデータについても、紛失は防ぎつつも2コピー以下の保管に収めたいと考えた。同社は最終的には、より安価な次世代メディア(信頼性がより高いか否かは問わず)に対応するよう最適化する再符号化法を考案した。「結果として当社は、1GBのデータのバックアップを、従来のシステムでは大容量のデータを複数ディスクにわたって保管していたところ、1.4GB分のスペースに保管することができるようになりました。これはデータ処理を効率化するとともに、保管データの耐久性の大幅な向上にも寄与しました」とBandaru氏およびPatiejunas氏は述べている。
  • Facebookはさらに、複数のハードウェアにわたってデータ容量の均等に振り分けるシステムも開発した。

Facebookのコールドストレージ設備の詳細については、投稿記事全文を参照してほしい。

【via VentureBeat】 @VentureBeat
【原文】

BRIDGE Members

BRIDGEでは会員制度の「Members」を運営しています。登録いただくと会員限定の記事が毎月3本まで読めるほか、Discordの招待リンクをお送りしています。登録は無料で、有料会員の方は会員限定記事が全て読めるようになります(初回登録時1週間無料)。
  • 会員限定記事・毎月3本
  • コミュニティDiscord招待
無料メンバー登録