MLPerf放榜,中国AI芯片公司再获世界第一
近日,全球权威测评MLPerf 公布最新推理测评结果,这是MLPerf首度引入GPT大模型推理测试,参与热度再创纪录,收到了来自英伟达、英特尔、谷歌、高通等企业提交的13500多项性能结果。
在MLPerf Inference 3.1中,墨芯人工智能(Moffet AI)S30计算卡在大模型GPT-J(60亿参数)上,单卡、4卡、8卡的算力均获得第一。
这是墨芯在MLPerf上连续第三次卫冕。
此前墨芯曾在MLPerf Inference 2.0与2.1上,连续两届获得第一。
墨芯S30计算卡
墨芯的成绩,为大模型算力方案带来了可行的创新方向。
事实证明:结合AI模型与计算平台的软硬协同创新,能够释放更大的算力潜力。这也再度印证:以稀疏计算为代表的创新技术,将是大模型时代算力发展的关键。
墨芯参加的是MLPerf开放分区,据主办方MLCommons介绍,该分区旨在鼓励创新。因此参赛者可以通过软硬协同等方式,探索对算力的提升。
在MLPerf中的GPT-J大模型上,与4nm制程的H100纯硬件加速方案相比,12nm制程的墨芯S30计算卡通过「原创的双稀疏算法+硬件协同」方式,取得了高达1.8倍的优势。
本次测评的GPT-J模型是生成式AI模型,墨芯S30计算卡在8卡、4卡、单卡模式下,性能分别为170.59,91.57,23.28 (Sample/s),达到英伟达H100性能的1.6倍、1.8倍、1.8倍,展现出墨芯产品在AIGC类任务上的能力。
|