人工智能新突破：计算机正在学习从更高维度观察世界

来源：家长学院　　作者：boxi

　　等变的延伸

　　物理和机器学习有着基本的相似之处。就像Cohen所说那样：“两个领域都牵涉到做出观测，然后建立模型来预测未来的观测。”他指出，关键的一点是，这两个领域寻求的都不是对事物个体建模（氢原子一种描述，倒过来的氢原子是另一种描述是不好的），而是对事物的一般类别建模。“当然，物理学在这方面已经非常成功。”

　　等变（或物理学家更喜欢的“协变”）是自爱因斯坦以来的物理学家归纳模型所依赖的假设。阿姆斯特丹大学理论物理学家Miranda Cheng（跟Cohen等人合作写过一篇探讨物理学与规范CNN关系的论文）解释说：“这只是意味着，如果你正确地描述了某种物理现象的话，那它应该跟你用什么样的‘标尺’无关，或说得更笼统一点，跟你是什么样的观察者无关。”就像爱因斯坦本人在1916年所说那样：“自然的一般定律应由对所有坐标系都适用的方程式表示。”

　　Weiler 说：“等变神经网络的关键是将这些明显的对称放置进网络结构里面，这有点类似一顿免费的午餐。”

　　到了2018年，Weiler、Cohen及其博士导师Max Welling已经扩大了这种“免费午餐”的范围，将其他等变也纳入进来。他们的“群等变”（group-equivariant） CNN无需用旋转或镜像方向样本训练即可检测平面图像上这些特征的存在；球面CNN可以根据球体表面上的数据创建特征图谱而不需要将其扭曲为平面投影。

　　这些方法仍然不够通用，没法处理崎岖不平、不规则结构流形（从土豆到蛋白质，再到人体，乃至于时空弯曲，几乎涵括了所有物体的几何形状）的数据。对于神经网络，这些类型的流形“全局”对称性来让神经网络做出等变假设：因为它们上面的每个位置都是不同的。

　　幸运的是，自爱因斯坦以来的物理学家已经处理过同样的问题，并找到了解决方案：规范等变。

　　Welling解释说，关键是不要去管跟踪滤波器沿不同路径移动时其方向会如何变化。相反，你可以只选择一个方向（或规范），然后定义一种将所有其他方向转换为该方向的一致方法。

　　其要点是，尽管在初始方向上可以采用任意量规，但将其他量规转换为该参考系时必须保留基本模式——就像将光速从米秒转换为英里每小时必须保留基础物理量一样。有了这个规范等变方法，Welling说，“实际数字会变，但却是以一种完全可预测的方式发生改变的。”

　　Cohen、Weiler和Welling 在2019年将规范等变（终极版的“免费午餐”）写进了他们的卷积神经网络里面。他们给神经网络通过卷积能“看到”什么数据施加了数学约束来实现这一目标；只有规范等变模式才能通过网络的各个层。从欧几里德平面到任意弯曲的物体，包括类似克莱因瓶或四维时空的奇异流形等，Welling说：“基本上，你可以赋予任意表面以规范等变，这对在那种表面上进行深度学习非常有用。”

　　工作原理

　　规范等变CNN太过普遍了，以至于可自动包含之前的几何深度学习方法内置的假设——比如球体的旋转同变与平移滤波器等。即便是Michael Bronstein的早期方法，那种可以让神经网络识别弯曲成不同姿势的单一3D形状的方法，也符合规范等变。Bronstein说说：“规范等变是一个非常广泛的框架。我们在2015年所做的事情是它的一个特例。”

　　理论上规范CNN可以适用于任意维度的任何弯曲表面，Cohen及其合作者已经用全球气候数据（该数据必定具备3D球形结构）对其进行过测试。他们用自己的规范等变框架搭建了一个CNN，用来训练从气候模拟数据中检测极端天气现象模式，如热带气旋。2017年，政府和学术研究人员用标准卷积网络曾检测出数据中的旋风，准确度为74％； 去年，规范CNN探测飓风的准确率已达到97.9％。（这个成绩还超过了2018年专门为球体设计的不太通用的几何深度学习方法，后者的准确度为94％。）

　　劳伦斯伯克利国家实验室（Lawrence Berkeley National Laboratory）的气候科学家Mayur Mudigonda也应用过深度学习，他表示自己会继续关注规范CNN。他说：“这方面的人类视觉智能，即无论在什么方向都可以准确识别出模式来这一点，我们想把这种能力转化到气候社区里面。” 芯片巨头高通最近收购了Cohen和Welling创建的一家初创公司，并将两人招致麾下，把他们的早期工作纳入到规范等变神经网络里面。现在，高通正计划将规范CNN理论应用到改进型计算机视觉应用的开发上，比方说可以同时“看” 360度的无人机。（就像全球气候数据一样，可以对世界的鱼眼视图自然地映射到球形表面上。）

　　同时，规范CNN在像Cranmer这样的物理学家当中也越来越受欢迎，他们计划用来处理亚原子粒子相互作用的模拟数据。Cranmer说：“我们正在分析与强[核]力有关的数据，尝试去聊解质子内部。” 他说，这种数据是四维的，“因此，我们给具备这种规范等变神经网络提供了一个完美用例。”

　　前物理学家，现在正在研究等变神经网络的Risi Kondor说，规范CNN的潜在科学应用可能比其在AI当中的应用还要重要。

　　他说：“ 如果你做的是识别YouTube上的猫，但发现自己不太擅长识别上下颠倒的猫，你的感觉也许不太好，但可能还可以忍受。” 但是对于物理学家来说，至关重要的是要确保神经网络不会因为方向原因把力场或粒子轨迹识别错。Kondor说：“这不仅仅是不方便的问题，关键是要尊重基本的对称性。”

　　尽管物理学家的数学启发了规范CNN的诞生，且物理学家可能会为规范CNN找到大量用武之地，但Cohen指出，这些神经网络本身并不能发现任何新的物理规律。他说：“我们现在能够设计出可处理非常奇特数据的网络，但是你必须事先知道这种数据的结构。” 换句话说，物理学家之所以可以用规范CNN，是因为爱因斯坦已经证明了时空可以用四维曲面流形表示。Cohen的神经网络自己是“看”不出这种结构的。他说：“我们现在不学对称性。”不过他希望将来能学会这一本领。

　　这种跨学科的关联一度是科恩的直觉，现在又被以严格的数学方法证明，Cohen对此感到非常高兴。他说：“我一直都觉得机器学习和物理学正在做着非常相似的事情。我认为这真是非常的奇妙：我们一开始只是琢磨一个工程问题，然后随着我们慢慢改进自己的系统，我们逐渐发现了越来越多的关联。”

译者：boxi。