NTT Docomo Business Inc. (formerly NTT Communications) announced that it has achieved the world’s first high-speed data transfer in an environment where servers are distributed across different data centers by combining long-distance 800G-ZR connections with a proprietary tool that utilizes RDMA technology (hereinafter referred to as the RDMA transfer tool).
今回実証した技術は、分散型データセンターにおけるネットワーク構成を簡素化し、消費電力や運用コストを抑えながら高速データ転送を実現するものです。これにより、離れたデータセンターを1つのデータセンターとして利用することが可能となり、柔軟なデータセンター活用を実現します。800G-ZRは、800Gbpsの大容量・高速伝送だけでなく、急増するデータセンター間のトラフィックに対応できる効率的なネットワーク接続技術として注目されています。サーバインターフェイスが100G、400Gと進化する中、800G-ZRはこの集約されたトラフィックを低遅延で長距離伝送することが可能です。さらに、この技術はルーターやスイッチに直接挿入できるコンパクトなモジュールに実装されているため、ネットワーク構成が簡素化され、消費電力と運用コストが削減されます。RDMA(Remote Direct Memory Access)とは、転送先サーバーのメモリに直接アクセスしてデータを転送する仕組み。CPUを介さずにNICから直接データを書き込むことで、高速なデータ転送を実現します。
RDMAは長距離での転送処理品質に課題がありますが、当社独自のRDMA転送ツールは、CPUリソースの消費を最小限に抑えながら、長距離でも高速なデータ転送を実現します。今回の実証実験では、IOWN APNの技術要素の一つである800G-ZRと当社独自のRDMA転送ツールを組み合わせることで、800Gbpsクラスの広帯域接続を実現し、データセンター内の複数サーバ間での高速データ転送に世界で初めて成功しました。従来技術との比較では、1600GBのデータ転送に要する時間を約389秒から約68秒へと最大6分の1に短縮。また、CPU使用率も約20%から約5%へと最大5分の1に削減されることを確認しました。これにより、AI時代に求められる高速・低負荷なデータ処理基盤の構築に向けて大きく前進しました。また、800Gbpsのデータセンター間接続を実現したことで、データセンターの処理効率がさらに向上し、柔軟なリソース活用や拠点間連携の強化に貢献します。
こちらもお読みください: AIPキャピタルとビヨーク・キャピタルが提携を発表
Performance nearly equivalent to a single data center was confirmed in a simulated two-site environment 3,000 km apart. Zhang Xiaojing, an NTT Docomo Business Evangelist who handles IOWN’s computing technology evaluation and verification, highlighted the recent trend in data centers, noting the increasing demand for AI. “Even with GPT-3 a few years ago, the standard was 512 NVIDIA H100 GPUs. Meanwhile, typical servers typically have around eight GPUs per server, and multiple GPU servers are increasingly being used side-by-side.” He cited high computational power and parallel processing capabilities, high power consumption and heat generation, high-speed interconnects and large storage capacity, flexible scalability, and operational management as essential characteristics for AI GPU infrastructure. Given these challenges, while constraints such as power density per rack, cooling capacity, and floor load limits have led to a “necessary” trend toward distributing data centers, there has also been a “choice” to disperse data centers for business continuity and disaster recovery purposes. The Ministry of Internal Affairs and Communications’ view on AI infrastructure also cites the decentralization of data centers to achieve watt-bit collaboration. NTT Docomo Business announced its “AI-Centric ICT Platform” in June 2025 and is working on decentralizing data centers using the IOWN APN. Eitetsu Noyama, section chief of the IOWN Promotion Office at the NTT Docomo Business Innovation Center, explained the update to “GPU over APN,” which utilizes IOWN in distributed data centers. Toward the realization of distributed data centers using the IOWN APN, NTT Docomo Business successfully conducted the world’s first generative AI learning demonstration experiment in a distributed data center in October 2024, and successfully built a three-site distributed GPU data center in March 2025.
In this experiment, the time required for AI model training was measured between two locations, simulating an ultra-long distance of 3,000 km. In the experiment, pre-training of LLM (tsuzumi 7B) was performed using four NVIDIA H100 Tensor Core GPUs on two nodes. Compared to the training time required at a single data center, the time required at distributed data centers via APN was approximately 1.07 times faster, achieving nearly equivalent performance. Meanwhile, the time required at distributed data centers via the Internet was approximately 5.10 times faster, confirming the effectiveness of distributed data centers via APN. Yasuhiro Kimura, manager of the IOWN Promotion Office at NTT Docomo’s Business Innovation Center, explained the 800G-ZR and RDMA transfer tools used in the demonstration. While 400Gbps networks began to become widespread around 2021, he explained that the need for high-capacity, high-speed communications required for generative AI and other technologies has driven the evolution of network equipment, with 800Gbps now gaining attention. 800G-ZR is a transmission standard that enables long-distance, high-capacity, and high-speed optical communications at 800Gbps. Compared to previous models, it can be realized with smaller modules, allowing modules to be inserted directly into routers and switches. RDMA technology, meanwhile, enables high-speed data transfer by directly accessing the destination server’s memory. Direct memory access without CPU intervention achieves high-speed communications.
NTTドコモ・ビジネスでは、「接続の並列化」と「1回あたりのデータ転送量の増加」という2つの特徴を備えたツールを開発。RDMA転送ツールを使った実験では、転送時間を最大6分の1に短縮し、トラフィック量は約8倍の帯域を実現。さらに、CPU使用率も最大5分の1に削減されました。800G-ZRとRDMA転送ツールのそれぞれの特長を生かし、GPUクラスタ環境の効率化、ネットワーク運用の簡素化、柔軟なリソース利用を実現することで、分散データセンターでの有用性を確認しました。 NTTドコモ事業 今回の実証結果を踏まえ、IOWN APNで接続されたデータセンターにおけるGPUクラスタの可能性をさらに広げ、2026年度にはGPU over APNの検証環境をお客様に提供開始する予定であると説明。
ソース ヤフー
