フィックスターズとさくら、AIブースターでGPU PHYマシンを強化

Fixstars Corporation, a leading company in performance engineering technology, is pleased to announce that it has conducted operational testing of its performance engineering platform “Fixstars AI Booster” (hereinafter “AI Booster”) on a server equipped with the latest GPU – NVIDIA H200 SXM 141GB (hereinafter “H200”) – for Sakura Internet Inc.’s bare metal GPU cloud service “High Power PHY,” and achieved a 2.5 times speed increase over the previous model (H100).

Maximizing the performance of “high-powered PHY” with AI Booster

AI Boosterは、GPUなどのコンピューティングリソースの利用効率を最適化することで、常に高いパフォーマンスを維持することを目的としたソフトウェアです。パフォーマンスの観測と改善のサイクルをサポートする2つの機能、PO（Performance Observability）とPI（Performance Intelligence）を提供します。

フィックスターズ協力 さくらインターネット, has confirmed that AI Booster’s performance monitoring and improvements work effectively on the H200 architecture GPU, which is newly offered as part of the company’s “High Power” cloud service for generative AI, the first in the bare metal series “High Power PHY.” This accelerates speeds.

- 広告

こちらもお読みください： NTTグループとゲットワークス、AIを活用したICTプラットフォームで提携

Fixstars AI BoosterとH200のパフォーマンステスト結果

大規模な生成AIモデルを処理する場合、特に学習時にGPUのメモリ不足の問題がしばしば発生することが知られています。例えば、前モデルのH100では、70Bクラスのモデルの事前学習を2ノードで実行するために、メモリ消費を抑えるために処理速度や精度を落とす必要がありました。

動作確認内容

学習方法 事前学習

適用モデルラマ3.1 70B

トレーニングデータ RedPajama-Data-1T arXiv

使用フレームワークメガトロン-LM

AI BoosterによるH200事前学習高速化対策の概要

高精度オプティマイザの使用（SGD-SaI -> Adam）

- 広告

高速演算ユニットの使用（fp16->fp8）

再計算量の削減（再計算-粒度フル→選択的など）

ソース PRタイムズ