Graphcore全新Bow Pod系列:令人“WoW”的巨大功率和效率提升
2022/3/14 15:43:24
来源: Graphcore
2022年3月3日,Graphcore推出了世界上第一款3D Wafer-on-Wafer处理器——Bow IPU。Bow IPU是新一代Bow Pod人工智能计算机系统的核心。与前代产品相比,它可为真实世界的人工智能应用程序实现高达40%的性能提升和16%的电源效率提升,同时价格保持不变,且无需更改现有任何代码。
旗舰Bow Pod256提供超过89 PetaFLOPS的人工智能计算,而超大规模Bow POD1024包含350 PetaFLOPS的人工智能计算,使机器学习工程师在人工智能模型规模呈指数增长的情况下保持领先,并在机器智能方面取得新的突破。
客户成功案例
新的Bow Pod系统现已上市,并已经开始在全球范围内发货。
美国能源部(DOE)太平洋西北国家实验室[1](PNNL)是首批利用Bow的增强性能和效率的客户之一,他们将Bow用于网络安全和计算化学等应用程序。
“我们正在推进机器学习和图神经网络的界限,以解决现有技术难以解决的科学问题。”PNNL计算与理论化学研究所副总监Sutanay Choudhury表示,“例如,我们正在开发计算化学[2]和网络安全应用程序[3]。今年,Graphcore系统使我们能够将这些应用程序的训练和推理时间从几天缩短到几小时。这种加速技术有望帮助我们以有意义的方式将机器学习工具纳入我们的研究任务中。我们期待扩大与这一最新一代技术的合作。”
作为其Graphcloud IPU裸金属服务的一部分,美国云服务提供商Cirrascale目前正为客户提供Bow Pod系统。欧洲云服务提供商G-Core Labs已经宣布将于2022年第二季度发布Bow IPU云实例。
Graphcore大中华区总裁兼全球首席营收官卢涛表示:“随着AI计算市场的整体快速发展,客户需要兼顾性能、效率和可靠性的计算机系统。我们发布新一代IPU,正是为了支持全球技术开发者和创新者在AI计算领域取得新的技术突破,实现高质量发展。我们希望不断开拓IPU在中国的AI应用场景,通过IPU赋能高效AI计算,支持中国创新者不断推进机器智能的边界。”
真实结果
Bow Pod旨在大规模地为广泛的人工智能应用程序提供真实世界的性能,从用于自然语言处理的GPT和BERT到用于计算机视觉的EfficientNet和ResNet,再到图神经网络和许多其他应用程序。
客户发现,在与配有Bow Pod系统的Mk2 IPU-Pod系统相同的峰值功率范围内,众多人工智能应用程序的性能提升高达40%。
对于最先进的计算机视觉模型EfficientNet,Bow Pod16能够提供可比Nvidia DGX A100系统5倍以上的性能,而价格只有它的一半,总体拥有成本优势提升高达10倍。
电源效率提升
与前代产品相比,除了40%的性能提升,Bow Pod系统还可以大幅提高电源效率。
一系列真实世界应用程序的测试表明,Bow Pod的每瓦性能最高可以提升16%。
WoW
由于Bow Pod系统核心的Bow IPU处理器采用了世界首个3D半导体技术,Bow Pod系统提供了巨大的性能提升和更高的电源效率。
我们很自豪能够成为第一个向市场推广台积电Wafer-on-Wafer 3D技术的客户,该技术是我们与台积电紧密合作开发的。Wafer-on-Wafer有可能在硅片之间提供更高的带宽,被用于优化电源效率,并在晶圆级别改善向Colossus架构提供的功率。
使用BOW IPU中的Wafer-on-Wafer,两个晶圆被结合在一起,产生一个新的3D裸片:一个晶圆用于人工智能处理,在架构上与GC200 IPU处理器兼容,拥有1472个独立的IPU-Core tile,能够运行超过8800个线程,具有900MB的处理器内存储,而第二个晶圆拥有供电裸片。
通过在供电裸片中的处理核心和存储旁边添加一层深沟槽电容器,我们能够更高效地供电,以实现350 TeraFLOPS的人工智能计算,并实现40%的性能提升。通过与台积电紧密合作,我们充分验证了整个技术,包括背面硅通孔(BTSV)和Wafer-on-Wafer(WoW)混合结合中的多项突破性技术。
“Graphcore是我们突破性的SoIC-WoW(Wafer-on-Wafer)解决方案的主要客户,台积电与Graphcore在该解决方案上紧密合作。Graphcore在前沿并行处理架构方面的开创性设计使其成为我们技术的理想匹配。”台积电欧洲总经理Paul de Bot表示,“Graphcore充分利用了通过WoW技术直接连接增加电力传输的能力,实现性能的重大提升。我们期待与之合作,进一步发展这项技术。”
值得信赖的技术
我们的客户是各自领域的领导者,他们需要兼顾性能、效率和可靠性的计算机系统。任何已经使用IPU的人都会发现他们可以无缝过渡到Bow Pod系统。
我们功能强大、易于使用的Poplar软件栈和不断扩展的IPU优化模型库可自动解锁Bow Pod系统的全部功能。
新的Bow-2000 IPU Machine是Bow Pod系统的构建块,基于与第二代IPU-M2000 machine同样鲁棒的系统架构,但是配备了四个强大的Bow IPU处理器,可提供1.4 PetaFLOPS的人工智能计算。
Bow-2000可以完全向后兼容现有的IPU-POD系统,其高速、低时延的IPU结构和灵活的1U外形尺寸保持不变。
Bow-2000是整个Bow Pod系列的基础构建块。Bow-2000和戴尔、Atos、Supermicro、浪潮和联想等领先品牌的主机服务器相结合,形成Bow Pod系统。从有4台Bow-2000和一台主机服务器的Bow Pod16开始,通过Bow Pod32(8台Bow-2000和一台主机服务器)到Bow Pod64和更大的旗舰系统Bow Pod256和Bow Pod1024。
[1]https://www.pnnl.gov/
[2]https://www.pnnl.gov/news-media/opening-black-box-neural-networks
[3]https://www.pnnl.gov/news-media/v2w-bert-recognized-best-application-paper-award-dsaa-2021
获取更多Graphcore资讯,阅读深度技术文章,并与其他创新者们一起交流,请至中国官网graphcore.cn
声明:本网站部分文章转载自网络,转发仅为更大范围传播。 转载文章版权归原作者所有,如有异议,请联系我们修改或删除。联系邮箱:viviz@actintl.com.hk, 电话:0755-25988573