专题：AI时代的智能研究 “Research on Intelligence in the Age of AI”
核心问题1：是否应该推动更多的理论工作，比较深度学习模型与人类智能的理论
核心问题2：神经科学是否能够帮助人工智能，以及人工智能是否能够帮助神经科学
讨论参与者：
- Tomaso Poggio，MIT 教授，主持人
- Geoffrey Hinton，深度学习之父
- Pietro Perona，加州理工学院教授，Amazon 研究员
- David Siegel，Two Sigma 对冲基金主席
- Demis Hassabis，DeepMind 创始人
- Ilya Sutskever，OpenAI 首席科学家（已离职~）
精彩片段：
Geoffrey Hinton（针对问题2）：
- 神经科学显然对人工智能产生了巨大的影响，比如dropout这样的想法就来自于对神经元的思考（神经元偶尔会在应该放电时不放电）
- 另一个尚未实现还值得研究的概念是快速权重（fast weight），比如通过电传导实现权重的快速计算（这可能导致无法进行矩阵运算或权重共享）
- 未来的思考方向，如何更好地提高能源效率（目前的训练太消耗能量，而且无法进化）
- 大型多模态模型，已经推翻了“大脑比人工神经网络在统计上更有效”的论点；大语言模型面对新任务的小样本学习能力和MIT的本科生持平（或许是因为二者都具备丰富的先验？）
Pietro Perona（以近期存在的争论为引展开：具身智能 vs 纯文本智能）
- 人类具备的智能中，至少有一部分需要以一个身体作为前提
- 有充分的理由相信，人类对互联网上数据进行了过度索引和使用
- 注意区分相关性和因果性，不具备实体的智能只需要进行预测（基于相关性）；而如果要改变/干预世界，则需要理解事物的原因；因果关系使得推理成为可能
- 举例来说，目前可以轻松训练出一个区分 10w+物种的生物学家；但在考虑如何进行实验、解释结果等方面，没有任何机器能比得上一个表现欠佳的生物学家
- 机器的优势在于可以轻松地获取更多信息，可以通过一组参数将所学传递给另一台机器；在某些领域机器会比人类做得更好，但如何实现因果性的理解则是值得探讨的
- 深度网络最主要、最成功的理论是关于如何避免过度拟合以及如何进行正则化
此处个人提及一点思考，当掌握的相关性足够多时候，机器应该会具备了一定因果推断力；比如 DeepMind 团队近期借助图神经网络和深度学习实现了大量材料的推测，又比如陶哲轩借助 GPT4 辅助完成了数学猜想的破解
或者机器打破了人类的局限性之后，机器的最优科研思路是：一定的推理能力+暴力穷举？
David Siegel：
- 了解智能可能有助于推进商业人工智能应用，但更重要的是借此理解智力的含义，理解大脑如何能够以意识的方式进行计算并进而发展为智能
- 应该加大对人类自我了解这类研究发现的投入，与人工智能结合起来理解
Demis Hassabis：
- 神经科学对人工智能的贡献是巨大的，这是一种思维的融合，不仅体现在深度学习中，也体现在强化学习中。还有其他的概念源自对神经科学的理解，如记忆重放、情景记忆等
- 人工智能前沿的工作变得越来越工程化，系统也越来越偏离大脑的工作方式
- 互联网是我们在过去20到30年里一直在建造的巨大人工制品，整个人类都在参与建设；其中所包含的信息远远超出了我们任何人的理解，这正是这些大规模 AI 系统能够利用的
- 或许已经不是巅峰期，但神经科学依然能提供很多灵感；比如人类不擅长计划，还经常修正事实；关于记忆和情景可能也存在探索的空间；还有神经科学的分析技术（人类缺乏对AI系统的理解）
- 还要重视对 AI 基准能力的评估，包括安全性、性能、是否具有欺骗能力
Ilya Sutskever：
- 由于神经网络的复杂性非常高，我们不太可能拥有非常精确的理论，能够像物理学那样做出令人难以置信的良好预测；但理论显然是有用的，比如参数缩放、激活函数、归一化等
- 整体来看，人工智能已经偏离了神经科学的方向（比如神经元的改进，分布式表示）
- 成功地借鉴神经科学的想法需要高超的技巧和惊人的天分；大脑极其复杂，目前能够借鉴到的灵感只是偶然情况；目前还不存在明显的神经科学想法，可作为灵感借鉴到 AI 方向
- 未来几年内，我们可能某些事物在大脑中有相似的存在，或者某些来自大脑研究的灵感能够传递到 AI系统中；但是这一过程需要谨慎进行（天网警告~）
- 越来越多的证据显示，人工神经网络在学习表征时，无论是在视觉还是语言处理方面，都显示出与大脑学习的表征有更多的相似之处；这可能有助于对人类大脑工作原理的理解
- 还有一个令人困惑的点，AI 模型有时在某些方面会有惊为天人的表现，但有时也会出现一些比较智障的模式；尝试更深入地了解背后的原因，将会是很有帮助的
后面就比较零碎的讨论和问答环节，根据个人偏好摘录了几段
Demis Hassabis：目前没有任何理论，能够解释涌现的来源和产生原因；或许我们应该建立更好的基准，以更深入地挖掘涌现；又或者看看人类和机器之间的共性与差异
David Siegel：大脑比 Transformer 架构复杂得多。如果我们不能真正理解 Transformer 架构中发生的事情，真正了解它在做什么，那么理解大脑就几乎是不可能的，因为它会更加复杂
Pietro Perona：
- 科学的一个基本原则是通过研究现象的最简单形式来加深理解，并从更简单的版本开始理解原理；果蝇有 10w 神经元，老鼠有大约 1 亿神经元，而人类有大约 1000 亿神经元
- 神经科学提醒我们要关注不同形式的智力；注重在功耗、表现、适应性之间的进行权衡；要在不同的物种背景下考虑智力问题；不应该过度关注语言这一研究领域
Pietro Perona：
- 许多人目前缺乏一个清晰的指南针来判断正在发生的事情是比以前更好还是更糟；科学家们在试图判断模型是否取得了进步时，往往依赖于在某篇论文中找到的相对简单的基准，而你甚至不确定这些基准测试是否真的有意义
- 我们都需要重新思考什么是智力的好处，什么是行为，动物或机器人试图实现什么目标，以及如何衡量这些生物的生态适应性
Demis Hassabis：
- 我们刚刚发布了RTX类通用机器人系统，但它距离一般机器人技术还有很长的路要走
- 一种解决问题的思路：现实模拟、物理模拟、基于现实农场收集数据
- 另一方面，可以考虑从通用模型推广到机器人领域（在未来几年这并不会太难）
David Siegel：在缺乏理论的情况下，模型本质上是数据驱动的，那最好对数据非常小心
Geoffrey Hinton：
- 大脑在漫长的进化过程中已经被高度优化了。因此，它拥有所有这些不同类型的神经元，这有助于它的功能，但它可能也能够仅用更少的类型就做得很好
- 人工智能模型中的层归一化等技术是受到大脑中抑制机制的启发
- 进化是一个修补匠，它已经修补了很长时间，并且想出了许多实例化不同类型神经元的小技巧；但一个智能系统可能不需要那么多类型的神经元
- （Ilya Sutskever 补充）：一个训练后的大型开源模型可能已经发现了许多有趣的神经类型
Demis Hassabis：
- 现实中的很多问题都对应大量组合搜索空间的情况，比如材料设计、化学、生物学中的很多东西。然后问题会对应一个解决方案，比如找到蛋白质折叠所有可能方式中正确的一种
- 为此，你必须找到一个评估底层空间的模型，这样你才能以一种易于处理的方式搜索这个棘手的空间，从而找到答案，就像大海捞针一样（比如AlphaGo）
- 我们不仅将其应用于生物学，还应用于化学、聚变、等离子体聚变，以及数学和定理证明。实际上，当你开始以这种方式思考时，科学中有很多问题可以适合这类解决方案
- 目前阶段已经是人类专家可以使用的工具，但还需要人类提出假设和问题，并为其准备数据并建立模型；未来的新阶段可能是一个可能能够产生新假设和类似事物的系统
- 可应用方向举例：生物学、化学、聚变、等离子体聚变、数学和定理证明等
Geoffrey Hinton：
- 我们陷于认为逻辑推理是智力本质的想法中，但类比（尤其是远程类比）是智力的一个重要方面。所以我问GPT-4，堆肥堆和原子弹有什么共同点？GPT-4 成功的描述了其中的相似性（链式反应与能量增速），GPT4 知识量大约是人类的一万倍。所以它将能够看到更多的类比可能
Demis Hassabis：（创造力分为三个层次）
- 第一层是插值，只是对你所看到的进行平均来创造一些东西/新事物
- 第二层是推断，比如新的围棋策略、音乐、诗歌、类比（人类和模型都能做到）
- 第三层是发明，比如毕加索想出立体主义，数学家提出新猜想（目前模型还做不到）
Geoffrey Hinton：
- 人们曾经认为证明数学定理是一件简单的事，但神经网络永远不会做到这一点
- 没有理由相信有什么是人们能做但模型不能做的；人们在不断地推动任务，使模型面对任务变得越来越难；模型现在做不到，但这并不意味着他们在20年内无法做到
Geoffrey Hinton：
- 大脑不会随着时间进行反向传播，最多通过多个皮质区域进行
- 大型语言模型以及多模态语言模型存储的连接信息远多于大脑
- 我一直认为大脑在进行某种形式的反向传播，但我现在怀疑它可能在做一些更蠢的事
- 如果我能用 GPT-20 回答一个问题，我希望是，大脑是否实现了某种形式的反向传播？
资源分享：Bilibili视频、机翻文字版