株式会社PEZY Computing（以下、PEZY社）は、2015年に入り株式会社ExaScaler（以下、ExaScaler社）から依頼を受け開発していた、同社の第二世代液浸冷却専用HPCシステム向けの、液浸冷却に初めて最適化された最小構成システムを完成し、液浸冷却環境下での初期動作の確認に成功致しました。
PEZY社は、独立行政法人 新エネルギー・産業技術総合開発機構（NEDO）の助成を受けて開発した1,024コアのMIMD型メニーコアプロセッサ「PEZY-SC」にDDR3メモリを接続した「PEZY-SC Module」と専用の「PCIe Base Board」を組み合わせて、ExaScaler社の初代液浸冷却HPCシステムである「ExaScaler-1」用の演算処理システムを開発して提供してきました。これまでの演算処理システムは、空冷専用に開発された19インチラック向けの汎用1Uブレードサーバーに組み込んで使用する仕様であり、液浸冷却を前提に設計されたものではありませんでした。今回、ExaScaler社から2015年2月に依頼を受けて、完全に液浸冷却に特化し最適化された構成を目指して開発された新しいシステムは、マザーボードを含めて液浸冷却を前提に、最も冷却効率が高く、また性能・体積密度を高められる様に設計されています。これは、ExaScaler社が提案している新方式の液浸冷却に、世界で初めて最適化された設計のシステムと言えます。
新しい最小構成システムは、インテル社Xeon E5-2600 v3シリーズのCPU1個を搭載した専用の「Xeon Module」1枚と、DDR4メモリを接続しPCIe Gen3を32レーン接続可能とした新しい「PEZY-SC Module」4枚とを、マザーボード機能を集約した専用の「Carrier Board」に2セット組み付けて、更にこれも専用に開発された、56Gbit InfiniBandアダプタカード2枚と1,200WのPSU（Power Supply Unit）を1台組み付けた「IF Board」を上下方向に組み合わせた構成を取っています。その結果、これまでの空冷前提で設計されたマザーボードとは大きく異なり、多数のPCB基板をコネクタで積層した、細長い直方体形状となっています。また、これまでの空冷前提で設計されたマザーボードでは多数の電源供給のためのケーブル類が存在して、液浸冷却環境での冷媒の効率的な循環を阻害していたものを、今回開発された最小構成システムでは、基板内の配線とネジ及びスペーサーを用いた新しい給電手法を採用することで、複雑な多積層構造でありながらも、完全なケーブルレス構成を実現した画期的な構造となっています（写真1、2）。
この最小構成システムに採用されている新しい「PEZY-SC Module」上に搭載されている「PEZY-SC」は、これまでの「ES（Engineering Sample）」品から量産前段階品に変更されたことで、より高い動作周波数での安定動作が得られています。「ExaScaler-1」用の演算処理システムと比較して、インテル社Xeonがv2からv3に変更となり、InfiniBandの帯域が2倍となっていることと合わせ、ノード（ExaScaler-1の1Uノード換算）当たりの性能が向上しています。また、「ExaScaler-1」用の演算処理システムでは使用していたPCIe Gen3用のSwitch Chipを排したことと、液浸冷却専用設計構造とすることで、更に冷却効率が高くなり、消費電力性能の向上も得られています（比較表1）。
今回の開発では、本来は4枚の「PEZY-SC Module」間での1対3の双方向プロセッサ間通信を実現する計画でしたが、今回のタイミングでは実現が叶わず、「ExaScaler-1.5」としての完成は次のタイミングに持ち越されることとなりました。今回開発された最小構成システムを用いた第二世代の液浸冷却HPCシステムは、ExaScaler社より「ExaScaler-1.4」として近日中にリリースされる見込みですが、それまでの期間、PEZY社は今回開発した最小構成システムの各種の性能最適化を進めて参ります。
以上
写真1
