昨天的诺贝尔物理学奖一公布，瞬间炸翻了物理圈和 AI 圈。
Hinton 的第一反应更是有趣：这不会是个诈骗电话吧？
如此出乎意料的结果，让各路针对诺奖物理学奖的严肃预测，都仿佛成了笑话。
而诺贝尔奖的官方账号，也被网友们给冲爆了。他们纷纷高呼：这不是物理学！
「数据科学或神经网络是『用于』物理学，但绝对不『是』物理学。」
相比之下，AI 圈则是一片其乐融融的景象。大佬们都开心地给 Hinton 送去了祝福。
MIT 博士生 Ziming Liu 直言：「Physics (Science) for AI」是一个被严重低估的领域。规模化可以实现一对多的效果，但唯有科学才能带来从无到有的突破。
Jim Fan 则做了一个非常有趣的「AI-物理学对照表」：
言归正传，诺贝尔物理学奖，为何要颁给 AI 学者？
这就要从深度学习爆发的那一年讲起。
Geoffrey Hinton：2012 年，深度学习的惊人革命
早在 1986 年，Geoffrey Hinton 等人在 Nature 上发表的论文，就让训练多层神经网络的「反向传播算法」广为人知。
当时我们很多人都相信这一定是人工智能的未来。我们成功地证明了我们一直相信的东西是正确的。
可以说，神经网络在经历第一波寒冬之后，自此开始重新走向 AI 舞台。
1989 年，LeCun 率先使用了反向传播和卷积神经网络。他也同意 Hinton 的看法。
我毫不怀疑，最终我们在上世纪 80-90 年代开发的技术将被采用。
不过，反向传播算法引发的热潮，随后又在 1995 年被统计机器学习盖过去了。
统计机器学习的风头兴盛了很多年，即使 2006 年 Hinton 在 Science 上首次提出「深度学习」，业内也响应寥寥。
直到 2012 年 9 月，一篇题为「用深度卷积神经网络进行 ImageNet 图像分类」的论文，让此前沉寂多年的 AI 领域热度骤起。
文中提出的 AlexNet 深度卷积神经网络，在当年的 ImageNet 比赛上以碾压之势夺冠，一举将 top-5 错误率降低到了 15.3%，比身后的第二名（26.2%）足足高出 10 多个百分点。
ImageNet 数据集，正是由斯坦福李飞飞团队在 2007 年创建。
AlexNet 摧枯拉朽般的大胜，让研究人员惊叹于大型卷积深度神经网络架构的神奇威力，这篇论文也成为深度学习和人工智能自「AI 寒冬」后重新成为热门领域的重要里程碑。
后来人们所讲的「深度学习革命」，也借此文以发端，直到十二年后的今天。
事后李飞飞这样回顾：自 2012 年以来，深度学习的发展堪称「一场惊人的革命，令人做梦都没想到」。
自此，人们开始相信：大数据、算力、深度模型，是走向通用人工智能的关键三要素。
而深度模型也从最早的卷积神经网络，迭代为递归神经网络、Transformer、扩散模型，直至今天的 GPT。
从生理学、哲学到 AI：大脑究竟如何思考
在年轻时，为了弄清楚人类的大脑如何工作，Hinton 首先来到剑桥学习生理学，而后又转向哲学，但最终也没有得到想要的答案。
于是，Hinton 去了爱丁堡，开始研究 AI，通过模拟事物的运行，来测试理论。
「在我看来，必须有一种大脑学习的方式，显然不是通过将各种事物编程到大脑中，然后使用逻辑推理。我们必须弄清楚大脑如何学会修改神经网络中的连接，以便它可以做复杂的事情。」
「我总是受到关于大脑工作原理的启发：有一堆神经元，它们执行相对简单的操作，它们是非线性的，它们收集输入，进行加权，然后根据加权输入给出输出。问题是，如何改变这些权重以使整个事情做得很好？」
某个周日，Hinton 坐在办公室，突然有人敲门。AI 命运的齿轮从此转动。
敲门的正是 Ilya。
Hinton 给了 Ilya 一篇关于反向传播的论文，约定两人一周后讨论。
Ilya：I didn't understand it.
Hinton：这不就是链式法则吗？
Ilya：不是，我不明白你为啥不用个更好的优化器来处理梯度？
—— Hinton 的眼睛亮了一下，这是他们花了好几年时间在思考的问题。
Ilya 很早就有一种直觉：只要把神经网络模型做大一点，就会得到更好的效果。Hinton 认为这是一种逃避，必须有新的想法或者算法才行。
但事实证明，Ilya 是对的。新的想法确实重要，比如像 Transformer 这样的新架构。但实际上，当今 AI 的发展主要源于数据的规模和计算的规模。
2011 年，Hinton 带领 Ilya 和另一名研究生 James Martins，发表了一篇字符级预测的论文。他们使用维基百科训练模型，尝试预测下一个 HTML 字符。
模型首次采用了嵌入（embedding）和反向传播，将每个符号转换为嵌入，然后让嵌入相互作用以预测下一个符号的嵌入，并通过反向传播来学习数据的三元组。
当时的人们不相信模型能够理解任何东西，但实验结果令人震惊，模型仿佛已经学会了思考 —— 所有信息都被压缩到了模型权重中。
AI 如何「蹭」上物理学
讲到这里，你可能有一个疑问：这些跟物理学有什么关系呢？
诺奖委员会的解释是，人工神经网络是用物理学工具训练的。
Geoffrey Hinton 曾以 Hopfield 网络为基础，创建了一个使用不同方法的新网络：玻尔兹曼机。在这个过程中，Hinton 使用的是统计物理学的工具，来学习和识别数据中的模式。
就这样，AI 跟物理学联系上了。
如果讲到此次另一位获奖者 John Hopfield，倒是和物理学的关系更紧密一些。
一言以蔽之，Hopfield 网络是按物理学上能量函数最小化来构建的，可以看作是物理学中「自旋玻璃模型」的扩展。
Hopfield 网络利用了材料由于其原子自旋而具有特性的物理学 —— 这种特性使每个原子成为一个微小的磁铁。整个网络的描述方式等同于物理学中发现的自旋系统中的能量，并通过找到节点之间连接的值来训练，使保存的图像具有低能量。
另外，Hopfield Network 和玻尔兹曼机都是基于能量的模型。
统计力学原理，便是这两者的核心。它们都使用来自统计力学的能量函数，来建模和解决与模式识别和数据分类相关的问题。
在前者当中，能量函数被用来寻找与所存储的模式相对应的最稳定状态。后者中，能量函数通过调整节点之间连接的权重来帮助学习数据的分布。
至此，诺奖委员会就自圆其说了。
John Hopfield：一个想法，波及三大学科
20 世纪 80 年代初，John Hopfield 在加州理工学院创建了一个简单的计算机模型 ——Hopfield Network。
其行为方式不太像当时的计算机，而更像人脑。
这是因为，Hopfield Network 模仿了人脑储存信息的结构。它由相互连接的节点组成，正如人脑中的神经元一样。
节点中的连接强度具有可塑性，可强可弱，而强连接进而形成了我们所说的「记忆」。
Hopfield 学生，现 Caltech 计算机科学、计算与神经系统以及生物工程教授 Erik Winfree 解释道：
Hopfield Network 是物理学中「自旋玻璃模型」（the spin glass model）的扩展。自旋玻璃有两种磁化状态，可以称之为它的「记忆」。
Hopfield 扩展了这一模型，让其有了更复杂的连接模式。
简言之，他使用一个简单的规则，让每对单元（每个节点）之间有不同的连接强度，而不再局限于两种状态。
他的工作证明了，这种网络可以储存多种复杂的模式（记忆），而且比之前的方法更接近大脑运作方式。
Hopfield 以一种跨学科的视角阐述这个模型，解释了人工神经网络与物理学之间的联系。
复旦大学计算机科学教授张军平认为，Hopfield Network 与物理学领域的关联是，它的设计思路模拟了电路结构。
「假设网络每个单元均由运算放大器和电容电阻组成，而每个单元就代表着一个神经元」。
在普林斯顿大学新闻发布会上，Hopfield 表达了同样的观点。他认为，长远来看，新科学领域通常产生于，大量科学知识的交叉点上。
你必须愿意在这些「缝隙」中工作，找出你的知识局限性，以及让这些学科更丰富、更深入、更好被理解而采取的行动。
来自 MIT-IBM 实验室物理学家 Dmitry Krotov 分享了，Hopfield Network 一个想法至少对三大学科产生了巨大的影响。
它们分别是，统计物理学、计算机科学和人工智能、神经科学。
2023 年，他曾发表了一篇 Nature 论文，对 Hopfield Network 在统计物理、神经科学和机器学习等多个学科中，进行了分析。
论文地址：https://www.nature.com/articles/s42254-023-00595-y
Krotov 本人也与 Hopfield 合作过多篇研究，因此他对 Hopfield Network 工作的了解再熟悉不过了。
统计物理学
在统计物理学中，Hopfield Model 成为最常被研究的哈密顿量（Hamiltonian）之一。哈密顿量在物理学中，描述了系统的总能量，是理解系统行为的关键。
这一模型已经催生了数以万计的论文、几本书籍。它为数百名物理学家进入神经科学和人工智能，提供了切入点。
就连诺贝尔奖官方给出了解释，机器学习模型，是基于物理方程式。
计算机科学和 AI
在计算机科学中，Hopfield Network 终结了 AI 寒冬（1974-1981），并开启了人工神经网络的复兴。
Hopfield 在 1982 年发表的论文，标志着现代神经网络的开始。
论文地址：https://www.pnas.org/doi/10.1073/pnas.79.8.2554
就连如今的顶会 NeurIPS，起源可以追溯到 1984-1986 年在加州理工学院举行的被称为「Hopfests」的会议。
这个名字直接致敬了 Hopfield，彰显了他的早期工作在神经网络研究中的核心地位。
John Moody 在 1991 年的 NeurIPS 论文集中记录了这段历史。
另外，Hopfield Network 成为限制玻尔兹曼机（Restricted Boltzmann Machine）发展的主要灵感来源。RBM 在早期深度学习中，发挥着重要的作用。
还有基于能量的模型（Energy Based Model），代表着人工智能领域中一个重要的范式。
它也是从 Hopfield 基于能量和记忆的模型发展而来。
神经科学
在神经科学领域，Hopfield Network 成为后来许多计算记忆模型的基础。
它将记忆回忆概念化，即能量景观中滚下山坡的想法，已成为神经科学中的经典隐喻。
这次「诺奖风波」后，许多人也对如今的学科分类有了全新的思考。
不可否认的是，AI 已经融入了全学科、全领域。
而这次诺贝尔物理学奖颁给 AI，也是 AI 大爆发对于人类社会颠覆影响的一个真实写照。
参考资料：
https://x.com/Caltech/status/1843764971022495942
https://x.com/DimaKrotov/status/1843682498825564463
https://cacm.acm.org/opinion/between-the-booms-ai-in-winter/
https://x.com/DrJimFan/status/1843681423443800315
本文来自微信公众号：微信公众号（ID：null），作者：编辑部 HYZ，原标题《解密诺贝尔物理学奖为啥颁给 AI？Hinton 和 Ilya 12 年前对话，竟引发物理诺奖 AI 风暴！》
