什么是Transformer？
人工智能
本文从自然语言处理的基本思路讲起，说明 RNN、LSTM 因串行处理而存在并行能力不足、长距离信息易被稀释的问题，并介绍 2017 年《Attention Is All You Need》提出的 Transformer。文章解释了注意力机制中的 Query、Key、Value 与多头注意力，以及为弥补顺序信息而加入的位置编码；随后介绍编码器—解码器结构、残差连接与层归一化，以及 BERT、GPT 等不同路线，并总结 Transformer 在并行、全局视野和可扩展性方面的优势。
