最近一、两年来,transformer layer成为NLP里面非常热门的一个深度学习网络架构。在FasterTransformer 1.0中,提供了以BERT transformer layer为模版、经过高度优化之后的 transformer layer,让用户能够降低使用transformer编码 (encode) 的时延。
然而,在编码-解码 (encoder-decoder) 的流程当中,占据大部份时间的是解码。因此,FasterTransformer 2.0提供针对解码器进行高度优化的transformer layer。同时,还提供了优化过后的整个翻译流程,满足想要在翻译场景中大幅降低时延的用户们。通过本次的在线研讨会,您可以获得以下的内容:
- FasterTransformer 2.0 新增加的功能,包括decoder和整个翻译流程 – decoding - 的优化
- 我们如何针对decoder和decoding进行优化
- 如何使用decoder和decoding
- Decoder和decoding能够带来什么样的加速效果