无论是语言，音乐，语音还是视频，连续数据都不容易被AI和机器学习模型理解，尤其是当它依赖于广泛的周围环境时。例如，如果某个人或物体在视频中从视图中消失后才出现，那么很多算法都会忘记它的外观。Google的研究人员着手使用Transformer解决此问题，Transformer的体系结构可扩展到数千个单词，从而大大提高了歌曲创作，图像合成，逐句文本翻译和文档摘要等任务的性能。
但是Transformer绝不是完美的-将其扩展到更大的上下文可以明显看出其局限性。使用大窗口的应用程序对内存的要求从千兆字节到TB级不等，这意味着模型只能吸收几段文字或生成简短的音乐。因此，Google今天推出了Reformer，这是Transformer的改进版本，旨在处理多达100万个单词的上下文窗口。通过利用诸如位置敏感哈希(LSH)和可逆残差层之类的技术来有效使用内存并降低长序列的复杂性，它可以在仅使用16GB内存的单个AI加速器芯片上运行。
在4月在埃塞俄比亚的亚的斯亚贝巴举行的2020年国际学习代表大会上，Reformer论文的演讲之前，该代码和一些 示例应用程序已公开提供。
与所有深层神经网络一样，变形金刚包含排列在互连层中的神经元(数学功能)，这些层传输来自输入数据的信号并缓慢调整每个连接的突触强度(权重)。这就是所有AI模型提取特征并学习进行预测的方式，但是Transformer的独特之处在于，每个输出元素都连接到每个输入元素。实际上，它们之间的权重是动态计算的。
正如我的同事Khari Johnson 指出的那样，2019年最大的机器学习趋势之一就是基于这种Transformer设计的自然语言模型的持续增长和扩散。谷歌开源的BERT，基于变压器的模型，在2018年和一批发布今年表现最出色的车型，根据 胶排行榜 -包括Nvidia的威震天，谷歌的XLNet， 微软的MT-DNN，以及Facebook的罗伯塔 -基于《变形金刚》。公司发言人最近告诉VentureBeat，XLNet 2将于本月晚些时候发布。
然后，Reformer计算与相似向量(用于表示机器学习中人类可读数据的代数构造)匹配的哈希函数(用于将任意大小的数据映射到固定大小的值的函数)，而不是搜索所有可能的向量对。(例如，在翻译任务中，来自网络第一层的每个向量代表一个单词，对应于不同语言的相同单词的向量可能会获得相同的哈希值。)分配哈希后，序列会重新排列为将具有相同散列的元素放在一起并分成多个段以启用并行处理。然后在这些短得多的段及其相邻的相邻段内施加注意力，从而大大减少了计算量。
由于上述可逆存储器，Reformer还可按需重新计算每个层的输入，而不是将其存储在内存中。激活(确定网络输出，准确性和计算效率的功能)来自网络最后一层，用于从任何中间层恢复激活，每层使用两组激活。一层从一层逐渐更新到下一层，而另一层仅捕获对第一层的更改。
“由于Reformer具有如此高的效率，它可以直接应用于上下文窗口远大于几乎所有当前最新文本域(数据集)的数据，”Google研究人员ŁukaszKaiser写道以及加州大学伯克利分校的学生Nikita Kitaev在博客中发表的文章。“也许Reformer处理如此大的数据集的能力将刺激社区创建它们。”
该研究小组对基于改革者的图像和文本模型进行了实验，使用它们来生成图像中丢失的细节并处理整个小说《犯罪与处罚》(包含211,591个单词)。他们表明，Reformer可以逐像素生成全帧图像，并且可以在单轮训练中接受新颖长度的文本。
作者将将来的技术应用到更长的序列，并改善对位置编码的处理。“我们相信，Reformer为将来使用Transformer模型提供了基础，包括长文本和自然语言处理之外的应用程序，” Kaiser和Kitaev补充说。
在去年年底的一次采访中，谷歌AI负责人杰夫·迪恩(Jeff Dean)告诉VentureBeat，更大的背景将是谷歌未来工作的主要重点。他说：“我们仍然希望能够做更多上下文相关的模型。” “像现在这样，BERT和其他模型可以很好地处理数百个单词，但上下文上下文中不能使用10,000个单词。因此，这是一个[有趣的方向。”
改革者似乎是朝这个方向迈出的有希望的第一步。