【新智元导读】图灵奖得主LeCun与Meta分道扬镳★◈ღ！LLM邪路一条★◈ღ，「世界模型才是」未来★◈ღ。
据多家权威媒体报道★◈ღ，Meta首席AI科学家★◈ღ、负责「基础AI研究」（FAIR）的Yann LeCun★◈ღ，预计将很快离职★◈ღ。
这位65岁的AI界元老★◈ღ，在Meta这家全球最大的科技公司之一担任核心大脑★◈ღ，可以说拥有无限的资源★◈ღ。
今年夏天尊龙凯时网站进入★◈ღ，年仅28岁的Alexandr Wang成为Meta的首席AI官★◈ღ，让这位初出茅庐的大语言模型狂热者成了LeCun的上司★◈ღ。
此外★◈ღ，Meta今年还任命了另一位相对年轻的首席科学家赵晟佳（Shengjia Zhao）★◈ღ，职位也在LeCun之上★◈ღ。
在官方公告中★◈ღ，Meta盛赞了赵晟佳在scaling方面带来的「突破」★◈ღ。而LeCun恰恰对scaling失去了信心★◈ღ。
如果你好奇为什么LeCun和Zhao都是首席科学家★◈ღ，那是因为Meta的AI部门组织架构相当奇特★◈ღ，分成了多个独立的团队女王信息★◈ღ。
上个月★◈ღ，Meta超级AI实验室裁掉了数百人★◈ღ，包括10年老将田渊栋★◈ღ。据称★◈ღ，这是为了理顺这种混乱的局面★◈ღ。
而那支曾由LeCun领导★◈ღ、风头一时无两的FAIR★◈ღ，如今早已风光不再★◈ღ。据现任与前员工透露★◈ღ，这个部门经历了裁员★◈ღ、预算缩水★◈ღ，内部影响力也明显下降★◈ღ。
曾几何时尊龙凯时网站进入★◈ღ，FAIR是Meta内部思想最活跃的「象牙塔」★◈ღ，研究人员可以探讨各种AI未来路径★◈ღ，甚至可以做些「未必能成」的实验★◈ღ，完全不用担心产品化问题★◈ღ。
而现在★◈ღ，Meta新组建的AI研究部门招来一大批高薪新兵★◈ღ，由Wang主导★◈ღ，目标明确★◈ღ：要快★◈ღ、要落地★◈ღ、要产品化尊龙凯时网站进入★◈ღ。
他曾在多伦多的Geoffrey Hinton实验室工作★◈ღ，那时Hinton还没成为AI传奇人物★◈ღ。
「最让我兴奋的事情★◈ღ，就是和比我聪明的人共事★◈ღ，因为这会放大你的能力★◈ღ。」LeCun在2023年杂志采访时说道★◈ღ。
在贝尔实验室女王信息★◈ღ，LeCun曾参与开发手写识别技术★◈ღ，这项技术后来被广泛应用于银行自动读取支票★◈ღ。他还参与了一个项目★◈ღ，致力于将纸质文档数字化并通过互联网分发★◈ღ。
LeCun曾表示★◈ღ，自己从小就对物理感兴趣★◈ღ，在贝尔实验室期间也主要和物理学家合作★◈ღ，看了不少物理教材★◈ღ。
我学到了很多表面上与AI或计算机科学无关的东西（我本科是电气工程★◈ღ，计算机方面的正规训练其实很少）★◈ღ。
2013年★◈ღ，扎克伯格亲自邀请他加入Facebook（当时还未更名为Meta）★◈ღ，组建全新的AI实验室★◈ღ。
他领导这个团队四年★◈ღ，2018年卸任尊龙凯时网站进入★◈ღ，转为公司首席AI科学家女王信息尊龙凯时网站进入★◈ღ，以「个人研究员」身份继续探索技术前沿★◈ღ。
2018年★◈ღ，他与Geoffrey Hinton和Yoshua Bengio共同获得图灵奖——计算机界的最高荣誉★◈ღ，以表彰三人在神经网络方面的奠基性工作★◈ღ。
自那之后★◈ღ，LeCun就逐渐转为「象征性人物」角色★◈ღ。他没有参与Meta首个开源大语言模型Llama的研发★◈ღ，也早就不再参与这类项目的日常工作★◈ღ。
据与他共事的人透露★◈ღ，LeCun现在主要在做自己的研究项目★◈ღ，也经常出席各种技术会议★◈ღ，发表对AI技术的看法★◈ღ。
面对媒体的报道★◈ღ，Yann LeCun只是指出了报道中的「小错误」★◈ღ，并没有否认即将离职的消息★◈ღ。
他知道自己在包括Meta在内的整个硅谷技术圈内★◈ღ，备受冷落★◈ღ。上个月在MIT的一次研讨会上★◈ღ，65岁的LeCun直言★◈ღ：
这些年★◈ღ，我在硅谷★◈ღ、包括Meta的很多角落都不太受欢迎尊龙凯时网站进入尊龙凯时网站进入★◈ღ，因为我一直在说★◈ღ，3到5年内★◈ღ，世界模型将成为主流AI架构★◈ღ，没人再会愿意用现在这种LLM★◈ღ。
但他坚信自己对AI未来的判断★◈ღ。他的老朋友Léon Bottou曾告诉媒体★◈ღ，LeCun「倔强得可爱」——他会听别人意见★◈ღ，但更有自己坚守的信念★◈ღ。
他认为★◈ღ，无论科技巨头如何扩大其规模★◈ღ，我们目前所理解的大语言模型都已是「强弩之末」★◈ღ，是一条「岔路★◈ღ、干扰★◈ღ，一条死胡同」★◈ღ。
他为现代AI奠定了诸多基础★◈ღ。而现在他坚信★◈ღ，领域内的大多数人都被大语言模型的「海妖之歌」引入了歧途★◈ღ。
所谓「世界模型」★◈ღ，类似小动物或婴儿那样★◈ღ，通过视觉等感知数据主动学习世界规律★◈ღ；而LLM只是依赖海量文本做预测的模型尊龙凯时网站进入★◈ღ。
Meta的Llama★◈ღ、OpenAI的GPT★◈ღ、谷歌的Bard这些模型★◈ღ，都是靠海量数据训练出来的★◈ღ。LeCun估算★◈ღ，如果让人去读完它们训练所需的所有文本★◈ღ，大概得花10万年★◈ღ。
我们从与世界的互动中★◈ღ，获取的信息要多得多★◈ღ。LeCun估计★◈ღ，一个普通的四岁小孩接触过的数据量★◈ღ，是目前最大的LLM的50倍★◈ღ。
而他自己★◈ღ，早就准备好了替代方案★◈ღ。他称之为「目标驱动的AI」（objective-driven AI）★◈ღ。
他认为★◈ღ，未来★◈ღ，我们需要与可穿戴设备互动★◈ღ，就像与人交流一样★◈ღ，而大语言模型根本不像人类那样理解世界★◈ღ。
这些动物能完成惊人的壮举★◈ღ，它们理解物理世界★◈ღ。任何一只家猫都能规划出极其复杂的行动★◈ღ，因为它们拥有关于世界的因果模型★◈ღ。
为了说明这一点★◈ღ，LeCun设计了一个思想实验★◈ღ：「想象一个立方体悬浮在你面前的空中★◈ღ。好★◈ღ，现在让这个立方体绕着垂直轴旋转90度★◈ღ。它会是什么样子？」
当然★◈ღ，大语言模型可以毫不费力地写一首关于悬浮旋转立方体的打油诗★◈ღ，但它无法真正帮助你与这个立方体互动★◈ღ。
他指出★◈ღ，尽管大语言模型训练所用的文本量需要一个人花45万年才能读完★◈ღ，但一个四岁的孩子在醒着的16000小时里★◈ღ，通过眼睛看★◈ღ、用手触摸★◈ღ，已经处理了高达1.4x10^14字节的关于世界的感觉数据——
顺便一提★◈ღ，这些只是LeCun在演讲中给出的估算★◈ღ，他在其他场合也给过不同的数字★◈ღ。但这些数字指向的核心观点是★◈ღ：大语言模型存在着局限★◈ღ，而LeCun相信世界模型能够克服这些局限★◈ღ。
在Meta时★◈ღ，LeCun其实已经开始研究世界模型——他还拍了一个介绍视频★◈ღ，开头就让你想象一个旋转的立方体★◈ღ。
在AI行动峰会的演讲中★◈ღ，他理想中的模型包含一个对「当前世界状态的估计」★◈ღ，以某种抽象形式呈现与当前情境相关的一切★◈ღ。它不再是按顺序预测token★◈ღ，而是「预测在你采取一系列行动后★◈ღ，世界将达到的最终状态」★◈ღ。
他表示女王信息★◈ღ，世界模型将使未来的计算机科学家能够构建出「可以规划行动——可能是分层级的——以实现某个目标的系统★◈ღ，以及能够进行推理的系统★◈ღ。」
LeCun还坚称★◈ღ，这类系统将拥有更强大的安全特性★◈ღ，因为控制它们的方式是内置的★◈ღ，而不是像现在这样★◈ღ，面对一个神秘莫测★◈ღ、只会输出文本的黑箱★◈ღ，只能通过微调来加以修正★◈ღ。
他提出★◈ღ，他的世界模型将审视当前的世界状态★◈ღ，并通过寻找高效的解决方案★◈ღ，来寻求与某个不同状态的兼容性★◈ღ。
LeCun在演讲中解释道★◈ღ：「你需要一个能量函数来衡量不兼容性★◈ღ，给定一个x★◈ღ，找到一个对于该x能量较低的y」★◈ღ。
如果说★◈ღ，我们从LeCun的公开言论中拼凑出的「真相」很粗糙★◈ღ、有些模糊★◈ღ，甚至完全错误★◈ღ，那也完全正常★◈ღ。
但这可能需要耗费数年——甚至永远无法实现——更不用说数十亿美元的投资了★◈ღ，才可能看到任何真正了不起的成果女王信息★◈ღ。凯时尊龙官网app★◈ღ，尊龙凯时人生就是博★◈ღ。学术交流★◈ღ，尊龙人生就是博社会大学★◈ღ，
