Transformer研究概述

Transformer在自然语言处理、计算机视觉和音频处理等人工智能领域取得了巨大的成功。学术界和产业界研究者设计出了各种各样的Transformer（又称X-formers）。然而，关于这些Transformer的系统全面的文献综述仍然缺乏。在本综述中，首先简要介绍了vanilla Transformer，然后提出了一种新的X-formers分类法。接下来，从架构修改、预训练和应用三个角度介绍了各种X-former。最后，概述了未来研究的一些潜在方向。