Ai2于2026年11月6日宣布开放ToyBlocks,把机械臂操作字母积木的仿真环境、示范生成、模型训练与评估连接起来。它希望帮助研究者回答:机器人失败,究竟出在训练数据、任务规划,还是动作执行?其公开的实机拼词实验完成了30次中的15次。对准备采用仿真数据的团队,更有用的问题是:这次迁移经过哪些准备,成功率又覆盖什么条件?

ToyBlocks项目原始实机与仿真并排资料图,左侧是真实机械臂和木积木,右侧为对应模拟场景,粉色圆环标出规划器选择的目标点
项目原始实机与仿真对照图:两侧积木标签不同,模拟视频还经过时间对齐,因此画面同步不能作为速度相等的证据。来源:Allen AI的ToyBlocks仓库资料;按仓库Apache-2.0许可使用,原图未修改,许可副本。

“没有实机示范训练”,仍需要真实设备校准

这套分层系统由Molmo 2读取相机画面、选择技能并指出目标积木,再由ManiFlow执行动作。ToyBlocks利用任务与运动规划生成示范,并允许用参考规划器替换其中一层,帮助定位规划或控制的错误。

按作者说明,机器人任务训练不使用实机示范;迁移前却仍要进行系统辨识,调整仿真关节摩擦和惯量,使运动接近真实机械臂。生成数据时再改变积木尺寸、摩擦、桌高、光照和相机参数,执行时使用前视及腕部相机。实机设备是Franka FR3机械臂配Robotiq夹爪。

因此,本文的分析是:这项结果支持“用仿真示范训练后,在经过校准的装置上测试”,不能直接推出任意机械臂都能下载即用。另外,Molmo模型卡记载微调混入25%的通用图像指点数据;“不用实机机器人示范”也不等于全部模型训练材料都来自仿真。

81.1%与50%,分别在数什么?

评估对象 仿真结果 实机结果 计数单位
ManiFlow单项技能 990/1,237,80.0% 43/53,81.1% 抓取、放置、翻转、旋转等技能指令
Molmo 2+ManiFlow完整拼词 111/200,55.5% 15/30,50.0% 完成一次三字母拼词任务

这不是同一个分母。单项动作成功,并不保证连续执行后的完整目标成功;把两组比例相减,也不能量化“规划层损失”,因为任务和计数方式不同。完整拼词的实机比例比仿真低5.5个百分点,这是观察到的差值,不是已经完成的统计等效检验。30次试验中,每多或少成功一次,比例就变化约3.3个百分点。

作者限定:实机使用训练中见过的积木,每个场景4—10块;完整拼词采用最容易的设置,字母一开始就可见且朝向正确。发生碰撞,或操作员因不安全动作停止机械臂,都计为失败。结果尚不能覆盖隐藏字母、陌生物体或无人看护的长期运行。

ToyBlocks作者原始实机与仿真成功率图,蓝柱表示仿真、粉柱表示实机,分别列出单项技能990/1237与43/53,以及完整拼词111/200与15/30
作者原始结果图,蓝色为仿真、粉色为实机;两组使用不同统计单位。来源:Allen AI的实验页SVG,Apache-2.0许可(副本)。此处保留全部数值、坐标与颜色,将原页图例并入图框后渲染为JPEG,字体替换为Arial;未改动测量结果。

模型卡还有一组实机数字

核验时,Molmo2-4B-tb模型卡另写“10次试验成功60%”,而发布公告和项目实验页给出15/30。资料没有交代两批试验的对应关系,本文采用公告与实验页的30次口径,保留模型卡差异,不把它们合并成40次,也不擅自认定某组结果已经作废。这些资料均来自同一团队,不能充当独立复现实验。

现在可以研究什么,哪些交付仍待完成?

仓库已提供仿真侧的数据生成、训练与评估流程。研究者可以固定其他条件,单独移动测试区域,或替换高层规划器、低层策略,再查看逐任务记录,而不是只比较演示视频。评估文档还区分“过程中曾成功”和“最终仍成功”;复用结果时应同时保存终止条件与碰撞设置。

开放范围也有边界:项目页面仍把实机策略运行代码与系统辨识指南列为“即将提供”;发布公告说完整集成的强化学习训练能力尚未包含在当前包中;仓库将技术报告标为待发布。这里讨论的是已公开工具与作者的初步实验,不是完整实机部署方案。

安装文档要求Linux、支持CUDA 12.8的NVIDIA驱动及相应GPU环境,模型、子模块和下载素材各有许可条件,主仓库Apache-2.0并不自动覆盖全部依赖。对团队而言,一个可核验的起点是先固定设备、场景和失败规则,再分别记录单项动作与完整任务的结果。关于推理与执行如何分工,也可参阅本站的ARC机器人研究介绍。

概念插画:透明线框机械臂在模拟桌面操作积木,旁边实体机械臂与相机在另一桌面执行对应动作,连接带象征仿真到实机迁移
AI原创概念图,非真实现场。来源:小花儿AI使用内置ImageGen生成,作为本站原创生成素材使用;用两张桌面象征模拟与实机阶段,不代表ToyBlocks真实设备、软件界面或实验结果。

来源与资料核验

资料核验时间:2026年11月9日09:05(北京时间)。

本文由小花儿AI使用AI辅助整理公开资料。