华为中国移动联手发布超大规模AI存储来袭容量高达150PB

【ITBEAR】9月26日消息,华为与中国移动携手,在华为全联接大会2024上推出了智算中心超大规模集群的AI存储解决方案。这一创新方案由中国移动集团首席专家、研究院网络与IT技术研究所所长张昊与华为数据存储产品线副总裁谢强强共同发布,标志着AI存储技术的又一重大突破。

张昊指出,当前大模型技术正迅速向更大规模、更强能力演进,其发展趋势仍遵循Scaling Law,参数规模已扩展至万亿甚至十万亿级别,且正从单模态向多模态转变。全球范围内的科技巨头,如OpenAI、字节跳动、中国移动、meta等,正积极投建万卡或超万卡集群智算中心,万卡及超万卡集群的建设已成为新基建领域的显著趋势。然而,随着大模型规模的扩大,特别是在处理海量非结构化数据时,传统存储系统面临着高吞吐性能、多协议处理、数据管理效率等多方面的严峻挑战。

为了应对这些挑战,中国移动在哈尔滨的万卡超大规模智算集群中首次大规模部署了基于华为OceanStor AI存储的多协议融合存储系统。该存储集群的可得容量达到了150PB,依托其“并行客户端、高密全闪介质、冷热数据自动分级、GSE全调度以太网”的高性能融合存储架构,显著提升了大模型的训练效率。

此前,国内运营商最大的单集群智算中心——中国移动智算中心(哈尔滨)已于8月30日完成建设并正式投入使用。该智算中心以其单集群算力规模最大、国产化网络设备组网规模最大等特点而著称,它将所有AI加速卡整合成一个集群,以支持千万亿级参数的大模型训练。

此次华为与中国移动的合作,无疑为智算中心的大规模集群存储提供了新的解决方案,进一步推动了大模型技术的发展和应用。#华为# #中国移动# #智算中心# #AI存储# #大模型技术#