金磊 发自 凹非寺

量子位 | 公众号 QbitAI

李飞飞团队最新的空间智能模子Cambrian-S，初度被一个国产开源AI卓著了。

从这张展示空间感知才略的雷达图中，一个名为SenseNova-SI的模子，它在多个维度上的才略评分均已将Cambrian-S给包围。

而况从具体的数据来看，不论是开源或闭源，不论是2B或8B大小，SenseNova-SI在各大空间智能基准测试中齐拿下了SOTA的收成：

而这个SenseNova-SI背后的操刀者，恰是商汤科技。

在量子位与商汤科技招引首创东说念主、首席科学家林达华深入不异进程中，他并莫得守密对这一进展的详情：

在空间智能这个赛说念上，基于长期的视觉蕴蓄，咱们如故走到了宇宙前方。

但与此同期，林达华亦然立时话锋一溜，示意他并不肯意把这个故事浅易地讲成“赢了李飞飞”或者“赢了OpenAI”。

更深层的，林达华更像是在开释一种信号，一个对于AI手艺范式正在发生剧烈颤动的信号——

单纯依赖参数领域的AI范式冉冉面对瓶颈。咱们站在了新的十字街头。

因为在Scaling Law的角落效应运转递减、许多东说念主还在内卷大谈话模子时，林达华和他的团队选拔的却是一条很少有东说念主走的路：Back to research（转头实验室）。

具体而言，是从最底层运转死磕原生多模态和空间智能，以此来完成一场从Words（谈话）到Worlds（宇宙）的迁移。

而在林达华看来，在这场迁移中，中国科技公司如故抢到了一张船票。

回望夙昔三年，从2022年11月ChatGPT横空出世，到GPT-4的震撼登场，AI行业阅历了一场狂飙式的雕悍滋长。

那是一个把Scaling Law奉为圭臬的期间，只须算力实足大、GPU实足多、数据堆得实足高，模子的才略似乎就能无穷增长。

但到了2024年下半年，风向变了。

东说念主们发现，天然榜单上的分数还在涨，从GPT-4到GPT-5.2，再到Gemini的多样升级版，分数的跃迁越来越快，但带给东说念主们的惊艳感却在角落递减。

林达华拊背扼吭地指出：

原本的旧旅途，也即是单纯依靠Scale的主流范式，天然把模子推到了一个很高的高度，但也冉冉触遭遇了天花板。

分数晋升越来越快，但模子对物理宇宙的讲授力、对复杂逻辑的泛化才略，并莫得已毕质的飞跃。

与此同期，OpenAI前首席科学家Ilya Sutskever的一声快什么“Back to Research”，在硅谷和大师AI圈里激励了不小的振荡。

这与林达华的念念考一辞同轨：

咱们之前的路是纵情出古迹，当今的路，必须是转头科研的本体。

为何会如斯？浅易来说，因为纯谈话模子的红利快吃收场。

目前的顶尖大模子，在数学、编程上如故接近奥赛金牌水平，但在明白物理宇宙、处理三维空间干系上，可能连一个几岁的小一又友齐不如。

畴昔的AGI，毫不会只是一个陪你聊天的Chatbot，也不应只是活在文本的逻辑里。它必须是一个未必明白物理宇宙、具有多感官才略的宇宙模子。

林达华强调说：

东说念主类的智能不惟有谈话。

东说念主类与宇宙的交互是多模态的——咱们用眼睛看，用耳朵听，用手去触摸。AI的畴昔，在于从读万卷书（谈话模子）进化到行万里路（空间与宇宙交互）。

在这个新素轮流的时刻节点，商汤选拔不再盲目随从大谈话模子的参数竞赛，而是掉转船头，向着原生多模态这快更难啃的标的进发。

当今的多模态大模子，大多齐是有局限性的。

对于这个不雅点，林达华给出了一个畸形直不雅且略带幽默的案例。

哪怕是强如Grok或者GPT-4的早期版块，当你丢给它一张东说念主手的相片，问它有几根手指时，它常常会自信地回应“5根”。

哪怕图片里的东说念主手因为角度或畸变露馅出6根或4根，AI的谜底依旧是如斯。

再比如，给模子看一张浅易的三维积木图，问它“从上往下看是什么花式”，大多数模子齐会选错。

它们明明看到了图片，为什么还会瞎掰八说念呢？

因为它并莫得真确在看。

林达华打了一个极其纯确凿譬如：

这就好比一个盲东说念主，在暗澹中闭眼学习了十年。他读了万卷书，大脑极其发达，逻辑念念维严实。已而有一天，你让他睁开眼看宇宙。

他的第一响应是什么？是他会拚命地试图用他夙昔十年在竹帛里学到的语义倡导，去硬套目下看到的东西。

在传统的多模态架构（拼接式架构）中，世俗是一个视觉编码器（Vision Encoder）加上一个大谈话模子。

视觉编码器把图片翻译成谈话模子能听懂的Token，然后扔给大谈话模子去推理。

在这个进程中，大谈话模子依然是阿谁“闭眼学习了十年”的大脑。它看到“手”这个图像Token，大脑里坐窝调出的先验学问是“手有5根手指”，会平直掩饰掉眼睛看到的实在像素细节。

林达华分析说念：

它不是确凿明白了三维空间干系，它只是在靠概率猜词。

这种拼接式的蹊径，天然能快速出恶果，但颓势是致命的：

视觉信号在插足大脑的那一刻，就被降维、被阉割了。大批的空间细节、三维结构、物理规定，在振荡为谈话Token的进程中流失殆尽。

这即是为什么当今的模子数学能拿金牌，却连手指齐数不清、连积木齐搭不解白的原因了。

要措置这个问题，修修补补似乎如故是于事无补。必须从底层架构上进行一场透澈的修订。

这场修订的产物，即是商汤刚刚开源的EO架构，以及基于此架构的SenseNova-SI模子。

在深入了解这个架构之前，咱们需要先明白什么是原生多模态。

林达华的讲授是这么的：

模式上不再是“视觉眼睛+谈话大脑”的拼接。在NEO架构里，从模子最底层的Transformer Block运转，每一个细胞齐能同期处理视觉停战话信号。

这听起来很空洞，但在手艺已毕上却极其硬核。

在NEO架构中，视觉Token和文本Token不再是“先后插足”或“翻译干系”，而是“一块插足模子的每一层。

商汤经营了特意的搀和精粹力机制（Mixed Attention），让模子在进行每一次推理计较时，既能参考文本的高下文，又能及时“回头看”图像的原始特征。

为了让模子真确明白空间，林达华团队还干了一件反直观的事——

他们不再只用展望下一个词（Next Token Prediction）来履行模子，而是引入了跨视角展望。

浅易来说，即是给模子看一个物体的正面，让它去展望这个物体侧面、后面长什么样。

林达华示意：

这就像教小孩子搭积木、看宇宙一样，你在脑海里构建三维模子的进程，即是空间智能出生的进程。

这种原生架构带来的效果是惊东说念主的——

数据遵循晋升了10倍。

举例SenseNova-SI仅用了同类模子10%的履行数据，就达到了SOTA水平。而况，它不再是靠死记硬背，而是真确明白了三维空间干系。

正如咱们前文提到的对比评测中，SenseNova-SI不仅卓著了李飞飞团队的Cambrian-S，更是在空间推理、幻觉阻难等重要目的上发扬更优。

林达华总结说念：

咱们但愿把一个闭眼决骤的盲东说念主，酿成了一个真确睁眼看宇宙的不雅察者。

手艺再牛，淌若不成酿成出产力，终究只是实验室里的玩物。

在量子位与林达华的不异进程中，他反复提到了一个词：工业红线。

咱们里面有一个范例：任何手艺，淌若它的使用本钱高于它创造的价值，那即是没过工业红线。

这是因为大模子行业目前最大的痛点，除了不够贤达，即是太贵、太慢。

独特是在视频生成领域，天然Sora惊艳了宇宙，但生成几秒钟视频需要奢靡巨大的算力，推理时刻动辄几分钟以至几小时。

这种本钱和蔓延，根底无法接济大领域的生意应用。

“唯有当推理本钱以每年1-2个数目级的速率下跌时，AI才能从Demo级的炫技，酿成石油级的工业出产力。”

为了跨过这条红线，商汤在落地应用高下足了功夫。林达华以商汤最新及时语音驱动数字东说念主居品SekoTalk为例，展示了什么叫算法和系统协同的极致优化。

目前的视频生成主流模子齐是基于扩散模子，生成一张图往往需要迭代几十步以至上百步。

但这个进程的表率就不成减少吗？谜底是含糊的。

林达华团队哄骗一种名为算法蒸馏的手艺，硬生生将扩散模子的推理步数，从100步压缩到了4步。

这不是浅易的偷工减料，而是基于对模子散播的深切明白。林达华讲授说：

模子在从白噪声酿成图像的进程中，不同阶段处理的数据散播是系数不同的。以前是用并吞套参数跑100遍，当今是分阶段用不同参数跑4遍，让专科的参数干专科的事。

如斯嘱托之下，效果依旧是惊东说念主：64倍的速率晋升。

这就意味着在不久的将来，你只需要一张消费级的显卡（比如RTX 4090以至更低），就能及时生成高质地的数字东说念主视频。

△SekoTalk生成的视频

聊至此处，林达华也发扬出了欢乐之情：

以前生成20秒视频要跑一小时，当今咱们能作念到及时生成。这不仅是遵循的晋升，更是生意模式的质变。

这平直买通了AI在直播、短视频制作等领域的领域化落地旅途。

从SenseNova-SI的底层架构翻新，到SekoTalk的极致落地优化，商汤正在践行林达华所说的双轮驱动：

一手执Back to Research的原始翻新，一手执击穿工业红线的落地价值。

在对话的终末，林达华也为当下想要投身AI大波浪中的年青东说念主赐与了一些珍爱的提倡：

不要只盯着大谈话模子来卷，这个赛说念确凿太拥堵了。

林达华老诚地示意，年青一代的参议者和创业者，应该把视线绽放。

具身智能、AI for Science、工业制造、生命科学……这些齐短长常好的领域。

智能不惟有谈话，AI的畴昔在于从读万卷书进化到行万里路。

林达华终末说说念，在这场从Words to Worlds的雄伟迁移中，中国领有全宇宙最丰富的场景、最完好意思的工业体系。这片泥土，天生合乎训诲那些能与物理宇宙深度交互的AI。

在这个赛说念上，中国科技公司如故抢到了一张船票；而畴昔的头等舱，属于那些勇于转头实验室、勇于勇闯无东说念主区的年青东说念主。

SenseNova-SI地址：

NEO地址：

— 完 —

量子位 QbitAI · 头条号

关爱咱们开云(中国)kaiyun网页版登录入口开云体育，第一时刻获知前沿科技动态