Divider

如何玩转安培架构的 MIG (多实例GPU) 及其应用案例分享


2020年5月14日时,NVIDIA 发表了最新的 GPU 架构: 安培,以及基于安培架构的最新的 GPU: A100。安培提供了许多新的特性,MIG 是其中一项非常重要的新特性。MIG,全名是 Multi-Instance GPU,最多可以把 A100 GPU 切成七个 GPU 实例。每一个  GPU 实例都有各自的 SMs 和内存系统。因此,MIG 能够保证各个使用者的工作的时延和吞吐量是可预期的、提供可预期的服务品质,并且提高 GPU 的使用率。

对于云端服务的供应商,有几点非常重要的需求,包括服务品质的保证,基于安全考量而将使用者进行分离,以及尽可能的提高 GPU 的使用率。而 MIG 能够在不需要额外的工作下,满足上述的需求。透过硬件上分离 SM 和内存系统,MIG 能够保证服务的品质以及使用者的安全性。而透过将 GPU 切分成多个实例,能够显著提升 GPU 的使用率。

在这次的在线研讨会中,您可以获得以下的内容:

  • MIG 的介绍,包括 MIG 如何运作,为什么我们需要 MIG 等
  • 如何使用 MIG
  • 案例分析: 在 MIG 上使用 Fastertransformer
注册在线研讨会
我们将通过电子邮件将网络研讨会访问信息发送给您。

主持人
Add Presenter 1's Head Shot Image URL (ex: http://info.nvidianews.com/rs/156-OFN-742/images/dan_m.jpg)
薛博阳
NVIDIA GPU 计算专家

拥有多年 GPU 开发经验和深度学习开发经验。曾参与计算机视觉、游戏人工智能等项目开发。为 FasterTransformer 2.0 开发者之一。目前主要负责 FasterTransformer 2.0 的进一步的优化。
 
Add Presenter 2's Head Shot Image URL (ex: http://info.nvidianews.com/rs/156-OFN-742/images/dan_m.jpg)
朱越
NVIDIA 高级系统软件工程师

朱越,电子科技大学硕士学历。主要研究方向为感知算法和 CUDA-X 的 Deep Learning 的人工智能应用的开发和性能优化。
 
Add Presenter 3's Head Shot Image URL (ex: http://info.nvidianews.com/rs/156-OFN-742/images/dan_m.jpg)
樊智猛
NVIDIA 高级系统软件工程师

东南大学硕士学历,主要研究方向为人工智能算法及训练框架。
Add Presenter 4's Head Shot Image URL (ex: http://info.nvidianews.com/rs/156-OFN-742/images/dan_m.jpg)
黄泳均
NVIDIA 高级测试工程师

北京交通大学硕士学历,主要研究方向为人工智能应用的性能调试与优化。


主办方
Host1
Host1
 
Host2
Host1
 
Host2
 
Host3
Host1
 
Host2
 
Host3
 
Host4