AI中的幂率法则-通过Scaling来看AI的未来

导读：这篇小文是源于《Possible mind》这本书的最后一篇随笔，上面是这个系列的前作，对于这本书感兴趣的小伙伴，这本书在今年7月将会由湛卢出版中文版的。

这篇小文是源于《Possible mind》这本书的最后一篇随笔，上面是这个系列的前作，对于这本书感兴趣的小伙伴，这本书在今年7月将会由湛卢出版中文版的。

当要解决的问题的规模指数化变化时，总会有哪些特征是线性变化的。幂率法则要告诉你的就是这些特征是存在的，幂率法则的道理由于其简单，因此变得极其具有普适性。（关于幂率法则，参考“Scale” 读书笔记-天下之大作于细)  当我们将AI的发展放到幂率法则的视角下，会发现历史上的AI低谷对应问题规模增加后带来的复杂度，而高潮则对应通过找到指数级增长中的线性特征来应对复杂性。

例数历史中的AI低谷，首先是专家系统的预先设定的知识无法跟上现实问题的复杂性而衰落；之后是单个神经元的感知机无法应对非线性，之后是多层神经网络无法应对现实中非结构化的数据，而当前的深度学习热，也由于缺少解释性，模型的稳定性以及对常识与背景的理解，而有可能跌入低谷。

说起深度学习的成功，算力的提升和数据量的增加是其俩大成功要素，而这俩点都依赖于香龙在信息论提出的数字化编码的通信系统具有的纠错能力。香龙发现，在数字化的通讯方式（例如用二进制），只要传输的数据中的噪音所占的比例低于一个阀值，那通过线性的增加传输数据的通量，可以指数级的减少整体信息出错的概率，直到信息传递的错误变得在实际中不可能出现。假设你要传递一个信息，你为了避免信息在传递中出错，你可以叫多个人来传递，人越多，总体信息出错的概率是指数级而不是线性下降的。这意味着传输的通道增加，带来的可以传递的信息数量是指数化增长的。如果随着越来越多的微电子元件，计算中传递的中间变量也等比例的出错，那就不可能会有摩尔定律。而随着通信的价格指数化的降低，更多的人将生活中越来越多的部分数字化，从而带来了可供处理的数据的指数化增加。

除了以上的俩个维度，幂率法则在AI中的应用还体现在模型复杂度的线性增长带来了模型容量的指数级增长。当神经网络变得更深，在应对数据时可以使用的规则是之前规则和新增规则的俩俩组合。深度学习中常见的维度灾难，说的是待处理的数据有太多的维度，导致数据分布的很稀疏。而解决方法是将对问题的最优解的全局搜索变成局部受限下的搜索。剪纸的想法不新鲜，但深度学习通过逐步迭代的方式，将问题用一组可能不是最写实，但却最有利于解决问题的特征表示了出来。当OpenAI战神人类的dota选手时，机器眼中的地图是一个个的矩阵，虽然要解决的问题包含的可能性要多于宇宙中的原子。但将问题映射到便于问题解决的规律却是线性的。

而当前机器学习缺少解释性的缺陷，我们的大脑中的种种决策，其背后的逻辑也是在外界看来是个不透明的黑箱。但为了让人类相互协作，相互共情，需要解释的是人类做出的行为，而不是行为背后的机理。这指出了应对机器学习模型指数化增加后带来的复杂性的方法，通过训练新的神经网络，来将元模型的行为归类到线性增长的框架中，从而解释模型做出的决策的目的因，而不是模型如何做出决策。

AI要挑战的终极指数级增长，是如何用一个线性增长的规则合成出能够指数化扩展的自身。这方面自然界给出的例子的生物发育中，人具有的复杂性是指数级增长的，但如何制造人的基因却就是那么长。自然的解法是将发育的过程分成很多步，然后通过HOX基因来调控所有和发育有关的基因。当机器可以直接操纵物质世界中的基本粒子，来重构自身，涌现与进化的闭环就如同咬住自己尾巴的蛇，从原子到分子，从分子到细胞，再到组织，器官，生物体，互联的智能体，最后回到原子。

通过幂率法则看待AI的历史，是将复杂系统的理论来解释为何复杂的系统是必然会发生的。当我们自身遇到指数化增长的选项的时候，也要看出其中那些因素是线性变化的。所谓的万变不离其宗，说的就是这个道理。