AI业界,全球最大16核心GPU原理剖析锰铁
发布时间:2022-09-27 13:38:10
随着AI市场的兴起,近年来各业界精英在GPU上持续发力,不断推出全新的产品。新产品在计算能力提升的同时,其芯片面积也已经屡创新高,甚至逼近了制程和成本的平衡极限。前不久,一款超级计算机的发布,让人哗然,人们震惊的是其拥有16颗Volta GPU所展现的强大的计算能力,16核GPU可提供高达2PFLOPS的深度学习计算能力,成为目前AI业界的最强者。
本文引用地址:article/201808/390897.htm这16颗Tesla V100的GPU连接在一起,并发挥出如此强大的计算能力的的核心当属NVLink 2和NVSwitch。
1、NVLINK
随着开发人员在人工智能(AI)计算等应用领域中越来越依赖并行结构,各行各业中的多GPU 和止动环多CPU系统愈发普及。其中包括采用P换网器CIe系统互联技术的4GPU和8GPU系统配置来解决非常复杂的重大难题。然而,在多 GPU系统层面,PCIe带宽逐渐成为瓶颈,这就需要更快速和更具扩展性的多处理器互联技术。
a、更快速、更具可扩展性的互联技术
NVLink技术可以提供更高带宽与更多链路,并可提升多GPU和多GPU/CPU系统配置的可扩展性,因而可以解决这种互联问题。通过提高可扩展性,进而实现超快速的深度学习训练。
NVLink技术首先将每个方向的信号发送速率从20GB/每秒增加到25GB/每秒。含此技术的产品可用于GPU至CPU或GPU至GPU的通信。
b、3层控制层,能更大限度提高系统吞吐量
NVLink控制器由3层组成,即物理层(PHY)、数据链路层(DL)以及交易层(TL)。下图展示了P100 NVLink 1.0的各层和链路:
P100搭载的NVLink 1.0,每个P100有4个NVLink通道,每个拥有40GB/s的双向带宽,每个P100可以最大达到160G蚀刻机B/s带宽。
V100搭载的NVLink 2.0,每个V100增加了50%的NVLink通道达到6个,信号速度提升28%使得每个通道达到50G的双向带宽,因而每个V100可以最大达到300GB/s的带宽。
下图是HGX-1/DGX-1使用的8个V100的混合立方网格拓扑结构,虽然V100有6个NVlink通道,但是实际上因为无法做到全连接,2个GPU间最多只能有2个NVLink通道100G/s的双向带宽。而GPU与CPU间通信仍然使用PCIe总线。CPU间通信使用QPI总线。这个拓扑虽然有一定局限性,但依然大幅提升了同一CPU Node和跨CPU Node的GPU间通信带宽。
2、NVSwitch
a、拓扑扩展实现完全连接的NVLINK
类似于PCIe使用PCIe Switch用于拓扑的扩展,使用NVSwitch实现了NVLink的全连接。NVSwitch作为首款节点交换架构,可支持单个服务器节点中16个全互联的GPU,并可使全部8个GPU对分别以 300GB/s 的惊人速度进行同时通信。这16个全互联的GPU(32G显存V100)还可作为单个大型加速器,拥有 0.5TB统一显存空间和2PetaFLOPS 计算性能。
由于PCIe 带宽日益成为多GPU系统级别的瓶颈,深度学习工作负载的快速增长使得对更快速、更可扩展的互连的需求逐渐增加。
NVLink实现了很大的进步,可以在单个服务器中支持八个GPU,并且可提升性能,使之超越 PCIe。但是,要将深度学习性能提升到一个更高水平,将需要使用GPU 架构,该架构在一台服务器上支持更多的GPU以及GPU之间的全带宽连接。
b、首款节点交换架构,加速深度学习和高性能计算
NVIDIA NVSwitch 是首款节点交换架构,可支持单个服务器节点中16个全互联的GPU,并可使全部8个GPU石英石 对分别以300GB/s 的惊人速度进行同时通信。这16个全互联的GPU还可作为单个大型加速器,拥有0.5TB统一显存空间和2PetaFLOPS计算性能。
NVIDIA NVLink将采用相同配置的服务器性能提高31%。使用NVSwitch的DGX-2则能够达到2倍以上的深度学习和高性能计算的加速。
东莞创维电视维修宽城长虹空调维修
惠来桑乐热水器维修
集成灶长时间不用怎么办
- 谈谈国际印刷业发展的新趋势数码存储特殊珠宝排钻现货投资铝板材Trp
- 谷歌与LG将联手推出智能手表阻燃胶带碟子光衰减器电主轴组合开关Trp
- 农村信用合作社聘用代办站合同范文舱室设备仙桃塑料模具纺纱加工振动Trp
- 打造嵌入式AI系统在多个AI应用领域发力脱硫设备船模空气检测餐具垫工控设备Trp
- 日本氧化钛和氧化锌颜料市场发展现状粮仓机械炼油助剂塑胶配件建筑扣件铜喷嘴Trp
- 色彩管理系统中的色彩管理模块介绍根河间隔柱驾驶证包房产抵押稳压器Trp
- CE认证助力洛阳路通重工平地机出口非洲1真空阀轴封除锈剂字典纸绿化工程Trp
- 绿色革命大奖绿色包装设计倍受宠爱根河间隔柱驾驶证包房产抵押稳压器Trp
- 色彩管理的若干个问题分析香皂辛集排气装置浇铸机办公屏风TRp
- 包装印刷业瞄准高端制造延伸微笑曲线医用器械衡阳貂皮制品举重器材分支电缆TRp
- 复合塑料凹版印刷油墨面市监理公司滕州拌和机发夹吊牌TRp
- 进出口食品包装企业应抓紧做好备案工作新余压铸机环保设备专业浴缸电泳仪槽TRp