Attention有什么优缺点？

优点：

• 在输出序列与输入序列“顺序”不同的情况下表现较好，如翻译、阅读理解
• 相比RNN可以编码更长的序列信息

缺点：

• 对序列顺序不敏感
• 通常和RNN结合使用，不能并行化