189 8069 5689
深度学习在计算上受到限制并不是一件「新鲜事」。
只是在过去十年里面，这种计算限制被「淡化」了。人们专注于「算法」优化和「硬件」性能的提升，以及愿意投入更高的「成本」来获得更好的性能。
性价比这件事，从来没被严肃以待。
但是现在，深度学习的计算需求越来越大，这些所谓的「方法」开始变得无济于事了。
最近，MIT 计算机科学与人工智能实验室的研究科学家 Neil Thompson 发表了最新研究，主题旗帜鲜明：「Computational Limits of Deep Learning」。
用46 页、研究千余篇论文告诉你，深度学习的算力局限在哪里。
从设置的生成模型中发现理论上的算力局限。
首先，来看看理论上的算力局限。
他们设置了一个生成模型，在可能的 1000 个参数中，有 10 个非零参数，并考虑 4 个模型来尝试发现这些参数。
Oracle model：在模型中有完全正确的 10 个参数。
Expert model：模型中恰好有 9 个正确参数和 1 个错误参数。
Flexible model：拥有模型中所有1000 个潜在参数，并使用「最小二乘估计」。
Regularized model：跟「Flexible model」一样，它拥有模型中所有参数，但是是在正则化模型中。
于是，就得出了这样的结果——模型复杂度与正则化对模型性能和对计算要求的影响。
其中模型性能，是以与预测器相比预测的归一化平均平方误差的负对数（以 10 为底）。
可以看到，随着样本量的增加，Oracle model 跟 Expert model 一开始表现出更好的性能，而 Flexible model 和 Regularized model 这两个模型后进之势十分猛烈。
而与之相应的「计算要求」，Flexible model 和 Regularized model 跟前两个压根就不是一个量级的。
这恰好印证了吴恩达的一个观点：
当数据量小的时候，传统的机器学习技术做得更好，但灵活的深度学习模型在数据量更大的情况下做得更好 。
那么这篇论文将这一见解推向了更加广泛的结论：
灵活的深度学习模型有更大的潜力，但也有更大的数据和计算要求。
1058 篇论文看到实际中的算力需求
直接上图。
可以看到，所有的深度学习模型的实际算力需求，在近几年里，远远高于「硬件性能」提升中需要的计算能力。
为了研究深度学习对计算的依赖性，团队研究了1058 篇研究论文。
涵盖了图像分类（ImageNet 基准）、对象检测（MS COCO）、问题回答（SQuAD 1.1）、命名实体识别（COLLN 2003）和机器翻译（WMT 2014 En-to-Fr）等领域。
以图像分类为例。
ImageNet 为基准，显示了 ImageNet 数据集上图像识别错误率的下降及其与这些模型的计算要求的相关性。
除此之外，在问题回答、命名实体识别、机器翻译等领域也表现出了对计算能力的依赖性。
除了机器翻译（英语到德语），使用的计算能力的变化很小。其他的模型的依赖性都很强，其中问题回答的依赖性达到了 7.7。
总的来说，在深度学习的许多领域中，训练模型的进展都依赖于计算能力的大量增加。
但随之而来的，就是「高昂的研究成本」。
MIT 助理教授，清华大学校友韩松，就曾说过：
深度神经学习网络在计算上非常昂贵，这是一个关键的问题。
今年一月，Facebook 的 AI 副总裁 Jerome Pesenti 在接受《连线》采访时，就表示，该领域很快就会「碰壁」。
AI 科研成本的持续上涨，或导致我们在该领域的研究碰壁，现在已经到了一个需要从成本效益等方面考虑的地步，我们需要清楚如何从现有的计算力中获得的收益。
现在，用千余篇论文研究再次证实了这一结论。
那么对于现在的机器翻译、自动驾驶等项目需要重新考虑一下，「如何实现以低的成本实现收益化」。
换而言之，作为商业模型来落地的 AI 翻译和自动驾驶项目，是时候要用「性价比」来重估了。
你觉得呢？
论文地址：
http://www.neil-t.com/moores-law-and-computer-performance/
参考链接：
https://www.wired.com/story/prepare-artificial-intelligence-produce-less-wizardry/