2020年5月14日时,NVIDIA 发表了最新的 GPU 架构: 安培,以及基于安培架构的最新的 GPU: A100。安培提供了许多新的特性,MIG 是其中一项非常重要的新特性。MIG,全名是 Multi-Instance GPU,最多可以把 A100 GPU 切成七个 GPU 实例。每一个 GPU 实例都有各自的 SMs 和内存系统。因此,MIG 能够保证各个使用者的工作的时延和吞吐量是可预期的、提供可预期的服务品质,并且提高 GPU 的使用率。
对于云端服务的供应商,有几点非常重要的需求,包括服务品质的保证,基于安全考量而将使用者进行分离,以及尽可能的提高 GPU 的使用率。而 MIG 能够在不需要额外的工作下,满足上述的需求。透过硬件上分离 SM 和内存系统,MIG 能够保证服务的品质以及使用者的安全性。而透过将 GPU 切分成多个实例,能够显著提升 GPU 的使用率。
在这次的在线研讨会中,您可以获得以下的内容: