OpenAI 提出 Sparse Transformer, 可处理比以往长 30 倍的序列

OpenAI 开发了 Sparse Transformer, 这是一种深度神经网络, 在预测序列中下一个内容的任务上创下新纪录, 适用于文本, 图像和声音. 它通过对注意力机制进行算法改进, 从比以往可能处理的序列长 30 倍的序列中提取模式.