研究人员先教机器人拿起刷子，把桌上的积木扫进碗里。

然后，他们把刷子拿走，换成一根香蕉。

机器人抓起香蕉，将它横过来贴住桌面，把积木一点点扫进碗中。

随后，香蕉又被换成了一只簸箕。机器人这次没有继续照搬「扫」的动作，而是伸出另一只手，把积木推上簸箕，再端起来倒进碗里。

重点来了，研究人员从来没有在这项任务里教它用香蕉和簸箕，它是自己推理出来的。

已关注

关注

重播 分享 赞

 

 

关闭

观看更多

更多

 

 

 

 

 

退出全屏

 

切换到竖屏全屏退出全屏

极客公园已关注

 

分享视频

 

 

，时长00:24

 

 

0/0

00:00/00:24

 

切换到横屏模式

继续播放

 

进度条，百分之0

 

 

播放

00:00

/

00:24

00:24

倍速

全屏

 

倍速播放中

0.5倍 0.75倍 1.0倍 1.5倍 2.0倍

超清 流畅

 

 

继续观看

Gen1.5 模型带来重要进展：物理 AI 正在接近 GPT3 时刻

 

观看更多

转载

,

Gen1.5 模型带来重要进展：物理 AI 正在接近 GPT3 时刻

极客公园已关注

分享点赞在看

已同步到看一看写下你的评论

 

 

 

 

视频详情

这就是 Generalist 最新发布的 GEN-1.5 具身基座模型展现出的能力：模型开始从大规模人类操作数据中天然存在的重复、失误与恢复，学习到训练者没有逐项教过的动作，显露出某种智能涌现的迹象。

但真正让机器人研究者兴奋的，是 GEN-1.5 还展示了一项新的能力，它称之为「physical prompting」——物理提示。

研究人员可以拿着一对简易夹爪完成一项 3 到 12 秒的操作，只需向机器人演示一遍，GEN-1.5 不进行微调，也不更新任何参数，随即开始在新的物体位置和初始状态下尝试同一项任务。

曾参与 Google DeepMind Gemini Robotics 的研究者 Ted Xiao 将这种「让机器人看一次示范，就立刻学会一项新任务」的能力称为机器人领域追寻多年的「圣杯」。在他看来，GEN-1.5 是这条路线上迄今最好的结果，那种能力突然跃升的感觉，让他想起第一次使用 GPT-3。

能够进行物理提示也说明 GEN-1.5 的基座模型已经足够强。3 到 12 秒的示范不可能从头教会机器人如何抓取、接触和控制物体，只能告诉它「现在要做什么」。用 Generalist 的说法，这更像是在提醒模型一件它几乎已经会做的事。

这些瞬间之所以打动人，是因为它们和我们熟悉的机器人形成了鲜明反差。

过去的机器人演示往往动作缓慢、环境固定，物体位置或工具稍有变化就可能失败。它们像是在忠实复现一条训练过无数次的轨迹，而不是理解自己最终要完成什么。

而这一次，机器人给人的感觉开始有点像大语言模型了。

大语言模型真正令人惊讶的，往往不是它复述出了标准答案，而是面对一个新问题，它会给出一种人没有写进提示词里的回答。这个回答未必更聪明，甚至未必正确，但你能感觉到，那是模型根据问题自己组织出来的。

Generalist 也有意把这种变化与 GPT-3 相比。GPT-3 之前，语言模型已经偶尔表现出看几个例子就能完成新任务的能力；GPT-3 的不同，在于这种现象突然在广泛的任务上变得明显。只看一个例子，它的平均准确率约为 45%；看到约 100 个例子后，可以达到约 65%。

Generalist 并不是具身智能创业潮中公众最熟悉的公司。它不生产一款像 Figure 那样不断出现在聚光灯下的人形机器人，而是试图为不同形态的机器人训练同一种底层智能。但在机器人研究和产业圈，它一直是被密切追踪的公司之一。

原因是，它几乎把过去两年的全部赌注都压在同一个判断上：物理智能也可以 scaling。

2025 年 11 月，Generalist 用 GEN-0 展示，增加真实物理数据、模型规模和计算量，可以让一组下游任务共同进步；2026 年 4 月，数据规模超过 50 万小时后，GEN-1 将若干简单任务的平均成功率从上一代的 64% 推到 99%。

而此次 Gen-1.5 的发布，同时伴随着 Generalist 宣布，是学习新任务所需的训练正在消失。所谓一次「梯度更新」，就是用新任务的数据调整一次模型参数。Generalist 将这个过程从过去的数百次，压缩到数十次、10 次、1 次，最终变成 0 次：模型不再需要重新训练，看一遍就能开始做。

目前，GEN-1.5 只看一次示范，在 10 项新任务上的平均成功率为 59%；使用 5 分钟数据、调整 10 次参数后，可以提高到 83%。它离一台可以放心交付工作的机器人还有距离。

但它已经出现在一条清晰的 scaling 曲线上。机器人的智能涌现，已经近了。

Generalist 这次一共展示了 GEN-1.5 学习和使用新能力的三种情况。

第一种，是面对没见过的变化，直接换一种办法。

机器人学过把积木放进碗，但没有见过碗被纸盖住，它会先移开纸；乐高卡在一只夹爪上，它会用另一只手取下；只学过单手开罐，有时也会换成双手。

这里没有重新提供数据或训练模型。任务本身学过，变化没有学过。GEN-1.5 展示的是对新工具、新障碍和意外情况的直接泛化。

第二种，是只看一次示范，就开始做一项新任务。

研究人员在机器人面前拉开一次拉链、拧开一次罐盖，或者从钱包里抽出一张纸币。演示只有 3 到 12 秒，GEN-1.5 不调整任何参数，随即便会在物体位置发生变化的情况下尝试一次。

Generalist 把它称为「physical prompting」——物理提示。它和给大语言模型一段 prompt 很相似：示范没有被训练进模型，只是临时告诉它，这一次要做什么。在 10 项新任务上，这种一次提示的平均成功率为 59%。

物理提示还可以组合。研究人员分别示范两个任务，GEN-1.5 会把它们接成一套连续动作，并补上示范里没有的调整位置、换手和重新抓取。来自模拟器的动作也可以提示现实中的机器人；在部分实验中，人直接用双手示范，机器人也会随后尝试复现。

第三种，是用几分钟数据，快速把一项新任务学得更稳。

研究人员提供 1 到 5 分钟、约 10 到 50 次演示，再调整 1 到 10 次模型参数。使用约 5 分钟数据和 10 次调整时，10 项任务的平均成功率可以从一次提示的 59% 提高到 83%。这仍然是训练，但已经从过去的数百次调整压缩到了几次。

三种情况并不相同，却指向了同一件事：GEN-1.5 的基座模型已经提前学会大量基础动作和物理规律。面对新变化，它可以直接调用；看到一次示范，它可以临时组合；得到几分钟数据，它又能迅速变得更稳定。

按照 Generalist 的公开说明，GEN-1.5 会同时处理视频、其他传感器、语言和机器人自身的状态。示范被放进一个 30 秒的上下文窗口，其余空间持续加入机器人最新看到的画面；模型以 100Hz 输出动作轨迹，在执行中继续观察和修正。

而预训练时的数据，只是从家庭、仓库和工厂活动中随机截取的连续片段。测试时突然插入一段来自别处的动作，原本是训练中没有刻意安排过的形式，模型却知道应该接着做。

为什么会出现这种能力，Generalist 目前也没有确定答案。

一种猜测是，人类工作中天然充满重复：拧完一颗螺丝，通常还要拧下一颗；收好一个物体，往往紧接着处理另一个。模型在海量连续动作中，可能已经无数次练习了「看见前一个实例，延续下一个实例」。

另一部分线索来自失败。人会失手、调整、重新抓起物体，然后继续工作。如果这些不完美的过程没有在数据清洗时被剪掉，模型看到的就不是一条只有正确动作的轨迹，而是完整的「失误—修正—继续」。英伟达机器人研究负责人 Jim Fan 认为，这可能正是 GEN-1.5 会恢复和换办法的重要原因。

此次 Generalist 并没有公布 GEN-1.5 的准确参数规模、从头训练比例，也没有给出论文级别的完整训练配方。但从这家公司一贯的路线中，仍然可以看到一些端倪。

Generalist 成立于 2024 年，但直到一年后才正式走出隐身状态。它的三位联合创始人来自两条机器人技术主线：Pete Florence 和 Andy Zeng 曾在 Google DeepMind 从事机器人研究，参与过 PaLM-E、RT-2 等具身模型；Andrew Barry 则曾是 Boston Dynamics 的资深机器人研究员。团队里还有来自 OpenAI、自动驾驶和机器人公司的成员。

如果只看大众传播，Generalist 的知名度远不如不断发布人形机器人视频的 Figure。

但在机器人研究、创业和投资圈，它一直是被密切追踪的公司。一次采访中，投资人陈哲讲道，Generalist 和 Sunday Robotics 对行业的推动「巨大」：它们总能拿出一些此前少见、事后看来又很合理的设计。

这也解释了 Generalist 的公司形态。它不打算再造一款明星人形机器人，而是想训练一套可以进入不同机械臂、夹爪和工具的底层智能。Figure 把模型和一具完整的人形身体一起交付；Generalist 更关心的是，同一种智能能不能换一双手、换一台机器，仍然继续工作。

Generalist 过去两年的技术路线，也可以概括成一个词：scaling。

2025 年 11 月发布 GEN-0 时，Generalist 已经积累超过 27 万小时真实操作数据，每周还在增加约 1 万小时。公司用不同大小的模型反复实验，发现数据并不是越多越有用：10 亿参数模型很快就学不动了；60 亿参数开始明显受益；到 70 亿参数以上，海量物理经验才更稳定地转移到新任务。GEN-0 随后被扩大到 100 亿参数以上。

Generalist 想证明的，正是机器人也存在一条类似大语言模型的规律：数据、模型和计算量一起增加，一组不同任务会共同进步，而不是每项任务各自从头训练。按照公司的测试，GEN-0 扩大预训练后，16 组新任务的动作预测误差同时下降，真实机器人的成功率也随之提高。

到 2026 年 4 月的 GEN-1，数据已经超过 50 万小时。Generalist 报告称，使用约 1 小时机器人任务数据后，一组简单任务的平均成功率从 GEN-0 的 64% 提高到 99%，折盒和手机包装等任务的速度也提高到此前系统的约 3 倍。

这套数据并不是靠遥操作采集出来的。

传统遥操作要求人通过 VR、手柄或另一台设备控制机器人。每增加一名采集者，往往也要增加一套昂贵的机器人。Generalist 采用的路线更接近 UMI：让人拿着一只带相机的「机器人手」，直接在家庭、仓库和工厂里干活，再把动作转换成机器人能够学习的数据。

公司公开确认的是低成本手持设备和简易夹爪，并称已经在不同地区部署数千套采集硬件，采集设备看起来简单，公司称，训练系统一天可以读取相当于 6.85 年的人类操作经验。

2025 年 11 月，Generalist 已经积累了 27 万小时数据，并以每周超过 1 万小时的速度继续增加；到 2026 年 4 月，GEN-1 使用的数据已经超过 50 万小时。GEN-1.5 没有公布最新总量，但可以想见数据量应该有不少新增。

鹿明机器人联合 CTO 丁琰曾估算，即使完全照着 Generalist 已经公开的采集方式重建，仅制造采集硬件就需要四到六个月；若要积累 27 万小时数据，至少需要约 1000 人持续采集大半年甚至一年。他认为，对一个刚刚起步的团队来说，「半年到一年追上」都过于乐观。

这种影响甚至改变了中国投资人对数据路线的判断。接受采访的时候，深度机智创始人陈凯曾提到，Generalist 用大规模人类操作数据展示出模型能力，随后又以 27 万小时数据跑出清晰的 scaling 结果。原本被认为难以迁移到机器人的人类数据，开始成为资本愿意下注的技术路线，也改变了投资人对自己路线的认可程度。

Generalist 对模型本身也做了一个不太主流的选择。公司披露，GEN-1 约 99% 的参数从头训练，并不依附 Gemini、GPT 或其他已经读过互联网图文的模型。它认为，机器人过去需要借用语言和图像模型，是因为物理数据太少；当真实操作数据达到几十万小时，模型可以主要从物理经验中建立自己的能力。

因此，Generalist 一直拒绝把自己的模型简单称为 VLA 或 world model。前者通常把看图、理解语言和生成动作接在一起；后者通常先预测一个动作之后世界会怎样变化，再据此规划。GEN-1.5 公开展示的方式更直接：看到当前画面和刚才的示范，持续决定下一步怎样动。它内部很可能也形成了某种对物理世界的理解，只是公司没有公开一个单独预测未来的模块。

GEN-1.5 与 GEN-1 几乎同时启动，连续预训练超过八个月。随着训练推进，新任务所需的参数调整从数百次降到数十次、10 次，再降到一次，最后变成完全不用调整。

即便调整 10 次，模型内部参数的整体变化也不到 0.15%。用 Generalist 的说法，这已经不像从头学习，更像是在提醒模型一件它几乎已经会做的事。

今年 7 月，Generalist 还为 GEN-1 接入五指手、夹钳、电动螺丝刀、打蛋器等不同工具，以及大约 9000 种标准夹爪的改装形态。它想证明，物理智能不必被锁在一双人形机器人的手上：夹爪、吸盘和专用工具，都可以是同一个模型与世界接触的方式。

资本已经为这条路线给出了高价。今年 6 月，Generalist 完成 4 亿美元融资，累计融资超过 5 亿美元，估值达到 20 亿美元。Radical Ventures 领投，英伟达、Bezos Expeditions、8VC、Union Square Ventures、Norwest 和 Spark Capital 等参与。早期投资方 Boldstart 回顾投资理由时，强调的也不是某一款机器人，而是 Generalist 的「数据手」以及由此建立的数据循环。

九个月前，Generalist 发布 GEN-0，用 27 万小时真实世界操作数据证明机器人模型也可以 scaling。那次发布被一些业内人士称为机器人最接近「GPT-1 时刻」的一次尝试：重要的不是机器人已经有多聪明，而是数据、模型和计算量增加后，能力开始沿着一条可以预测的曲线提高。

这一次，Generalist 把参照物直接换成了 GPT-3。

事实上，用更少演示适配新任务，已经是近期机器人基础模型共同追赶的方向。

Generalist 真正显眼的是速度。2025 年 11 月，GEN-0 还在证明物理数据可以 scaling；五个月后的 GEN-1，用约 1 小时机器人数据把一组简单任务推到平均 99%；再过四个月，GEN-1.5 已经把新任务所需数据压到几分钟、一次演示，最后不再更新参数。

这也是为什么一次提示只有 59% 的成功率，仍然会引起机器人圈关注。它不是一个足以部署的数字，却是 scaling 曲线上一个新的现象：随着模型看到更多物理经验，新任务需要的专门训练从数百次参数调整一路降到零。

行业已经开始围绕同一方向加速。

Jim Fan 对 GEN-1.5 的判断是「谨慎乐观」。他认为，人类数据中的重复和错误恢复很可能是关键，也提醒一次示范究竟能不能成立，取决于新任务离预训练数据有多远。如果测试里的拉链、罐子或钱包，与模型过去见过的东西非常接近，「看一遍就会」和真正学会陌生工作仍然不是一回事。

目前的公开结果也留下了足够多的未知。10 项任务都比较简单，平均成功率只有 59%；物理提示对复杂柔性物体、长时间任务和完全陌生场景是否有效，还没有答案。所有核心数字都来自 Generalist 自己，公司也没有公布足以让外界完整复现 GEN-1.5 的论文、参数和训练细节。

但正确理解这些限制，不等于忽略这次进展。

GPT-3 刚出现时同样会生成大量错误。它真正改变世界的地方，是让人们第一次相信，同一个模型可以通过 prompt 临时学会许多不同任务。GEN-1.5 现在展示的，是这个接口在物理世界里的早期形态。

过去，每增加一种机器人用途，都要重新采集数据、训练模型、上机测试，再由工程师一轮轮修正。机器人本身或许可以买到，真正昂贵的是让它在一个新现场可靠地做一件新工作。

physical prompting 指向的另一种可能，是把任务留在眼前：机器人不必为每一项工作永久改变参数，使用者只需要告诉它，这一次要做什么。如果这种能力继续提高，被压缩的不只是示教时间，还有为每个新任务准备数据、占用机器人和投入工程师的成本。

这不会消除安全验证、现场集成和硬件维护，也还不是今天就能兑现的部署方案。但它可能改变部署成本中最难下降的一部分：每增加一种用途，都要重新教一遍机器人的代价。

今天的机器人还远没有学会一切。但让它继续变强、也让每一种新用途变得更便宜的那条 scaling 曲线，已经开始显现。