1秒間に110京回の演算が可能！ Frontierはなぜスーパーコンピューターランキングで首位に立てたのか？

2022-09-23更新

2022年6月、スーパーコンピューターの世界ランキングであるTOP500で首位が塗り替えられた。アメリカ合衆国エネルギー省管轄下のオークリッジ国立研究所の「Frontier」は、世界で初めて公式にエクサスケール・コンピューティングを実現したスーパーコンピューターだ。CPU、GPUともにAMD製を採用し、HPE(Hewlett Packard Enterprise)が開発している。スーパーコンピューターとは何か、そしてFrontierとはどのようなスーパーコンピューターなのだろうか。

Frontierのスコアは1.1エクサフロップス

TOP500は密な係数行列から構成される連立一次方程式を解くHPLベンチマークで競われる。ベンチマークではFLOPSという言葉をよく耳にするが、これは1秒間に処理できる浮動小数点演算の回数を意味する。FrontierのTOP500スコアは1.1エクサフロップス。これは1秒間に110京回の演算が可能なことを意味している。スーパーコンピューターに求められるのは浮動小数点演算性能だ。

科学技術プログラムの世界は主に方程式を解いたり行列の因数分解を行なったりする。この分野に強いのが浮動小数点演算、並列処理に特化したGPU。PCワークステーションにおいても、AI学習などで高性能ビデオカードが用いられるように想像しやすい。スーパーコンピューターもCPUとGPUから構成されるが、グラフィックスに特化したビデオカードのGPUとは異なり、科学演算に特化したGPUが用いられる。

ただしPCと異なるのはその規模だ。PCは一般的に一つのCPUと一つのGPUで構成され、それ単体で運用される。スーパーコンピューターの構造は、段階的に見ていく必要がある。まず一つあるいは複数のCPU、複数のGPUを搭載したものがノード。そのノードを一つあるいは複数搭載したラックモジュール。そのラックモジュールを複数収めたキャビネット。さらに複数のキャビネットを高速のネットワークで接続している。巨大な建屋の中に複数のキャビネットが整然と並んでいる姿こそ、スーパーコンピューターの一般的なイメージだろう。キャビネットには数十のCPU、数十～数百のCPUが収められており、そのキャビネットが数十～数百台ある。そしてGPUは言うまでもなくお手元のCPUも現在はマルチコアの時代だ。現在のスーパーコンピューターを演算器であるコア数でカウントするならば100万単位かそれ以上となる。

もちろんその稼働には膨大な電力が必要で、発電所に相当するメガワット級とされている。ただし、GREEN500のように、現在のスーパーコンピューターには電力効率も求められている。FrontierはGREEN500でも現在トップにランクされており、電力効率がよい、グリーンかつ高性能なスーパーコンピューターと言える。

スーパーコンピューターは何のために、何を計算するのか。もちろん、スーパーコンピューターはある程度の汎用性は備えつつも所有する組織が目的を持って製造されたものだ。地球シミュレータがよい例だろう。Frontierで言えばアメリカ合衆国エネルギー省の管轄下なのでそこから想像できる。だが、エネルギー、核といった分野だけでなく、がん治療やワクチン開発など医療、気候変動、宇宙といったさまざまな分野に利用できると言う。軍事分野も含まれるが、スーパーコンピューター自体は人類の発展を加速し、人類や地球を救うために用いられる計算機なのだ。

Frontierに採用されているのはキャッシュコヒーレンシを実現するカスタム版 AMD EPYC™ ＆ INSTINCT

Frontierを製造したのはHPE。Frontierは HPE Cray EX235a ノードを採用しており、これは1ノードあたり1基の AMD第3世代EPYC™ 7A53 プロセッサーと、4基の AMD INSTINCT MI250X アクセラレーターが搭載されている。キャビネット数は74基で、合計EPYCが9,408基、INSTINCTが37,632基収められている。冷却は液浸が用いられており、それもCPUやGPUからメモリやネットワークなど主要コンポーネントすべてを液浸で冷やす冷却技術をこの規模のスーパーコンピューターで採用したのは世界初ではないかとされている。

また、Frontierに用いられているEPYC、INSTINCTはカスタム品だ。通常のシステムでは、CPUとGPUはPCI Expressバスを介して通信するが、カスタム版EPYCはさらに(PCI Express 4.0よりも)高速のInfinity Fabricを用いており、CPUとGPUが1対1の形で直接接続されている。そしてPCI Express 5.0で拡張されるCXL(と同様の技術)を先取りする形で、CPU－GPU間でキャッシュコヒーレンシを実現する。CPUがGPUメモリに、GPUがCPUメモリに直接アクセス可能となり、その部分のオーバーヘッドがなくなる。また、インターコネクトである200GbpsのSlingshotは、PCI Express 4.0接続でGPUに直接接続されている。GPUから別のノードのGPUへの通信も、CPUを介すことなく高速に行なえる。

Infinity FabricによってCPUとGPUが1対1で接続されるほか、ネットワークはGPUと接続されている

こちらが通常のEPYC、INSTINCTの構成。GPUやネットワークはPCI Expressを介して接続される

INSITINCT MI250Xも通常版MI250と異なる。メインはコヒーレンシをサポートする点だが、COMPUTE UNITもMI250の208CUに対しMI250Xは220CUのフルスペック版とされる。

通常製品とは異なるスペックのEPYC、INSTINCTが用いられているが、こうしたカスタム品を可能としているのは、双方ともAMD製品であるためだ。また、完全に専用プロセッサーとして開発するスーパーコンピューターは5年、10年の開発期間を要するが、Frontierはより短い期間で開発された。EPYCやINSTINCTは汎用品であり、これに加えAMDが常に研究開発している次世代技術を採用したということである。

AMD EPYC＆AMD INSTINCTで開けたエクサスケールへの扉はさらに次の世代へ

Frontierは2022年6月時点で1.1エクサフロップス(TOP500)を記録した。AMDによれば当初の予想よりも容易にエクサスケールを実現でき、さらにはGREEN500ランキングのとおり消費電力も予想より抑えられたと言う。当初1.7エクサフロップスを予定していたFrontier。そこを目指す途中段階でのベンチマークだったが、現在Frontierの計画は1.1エクサフロップスで終了し、次のスーパーコンピューターの開発に移行している。アメリカ合衆国エネルギー省管轄下のローレンス・リバモア国立研究所のEl Capitanだ。

El Capitanは2エクサフロップスを目標に開発が進められている。こちらもEPYCをCPUに採用しているが、第4世代、Zen4アーキテクチャのGenoaへ、INSTINCTも次世代のMI300となる。MI300についてはアーキテクチャがCDNA3(MI250はCDNA2)となり、EPYC Zen4を統合するAPUとしてさらにはCPUとGPU、キャッシュ、HBMを統合した3Dパッケージング技術が用いられる。CPUとGPUをコンピュートレベルで統合するAPUはAMDがリードする技術だ。このINSTINCT MI300は、AIトレーニングの性能においてMI250X比で8倍のパフォーマンスが得られると言う。El Capitanは2023年の稼働予定で、2023年6月のTOP500では何かしら動きがあるかもしれない。