NEWS & INSIGHTS
ToyBlocks开放:仿真训练如何迁移到实机?
Ai2于2026年11月6日宣布开放ToyBlocks,把机械臂操作字母积木的仿真环境、示范生成、模型训练与评估连接起来。它希望帮助研究者回答:机器人失败,究竟出在训练数据、任务规划,还是动作执行?其公开的实机拼词实验完成了30次中的15次。对准备采用仿真数据的团队,更有用的问题是:这次迁移经过哪些准备,成功率又覆盖什么条件?

“没有实机示范训练”,仍需要真实设备校准
这套分层系统由Molmo 2读取相机画面、选择技能并指出目标积木,再由ManiFlow执行动作。ToyBlocks利用任务与运动规划生成示范,并允许用参考规划器替换其中一层,帮助定位规划或控制的错误。
按作者说明,机器人任务训练不使用实机示范;迁移前却仍要进行系统辨识,调整仿真关节摩擦和惯量,使运动接近真实机械臂。生成数据时再改变积木尺寸、摩擦、桌高、光照和相机参数,执行时使用前视及腕部相机。实机设备是Franka FR3机械臂配Robotiq夹爪。
因此,本文的分析是:这项结果支持“用仿真示范训练后,在经过校准的装置上测试”,不能直接推出任意机械臂都能下载即用。另外,Molmo模型卡记载微调混入25%的通用图像指点数据;“不用实机机器人示范”也不等于全部模型训练材料都来自仿真。
81.1%与50%,分别在数什么?
| 评估对象 | 仿真结果 | 实机结果 | 计数单位 |
|---|---|---|---|
| ManiFlow单项技能 | 990/1,237,80.0% | 43/53,81.1% | 抓取、放置、翻转、旋转等技能指令 |
| Molmo 2+ManiFlow完整拼词 | 111/200,55.5% | 15/30,50.0% | 完成一次三字母拼词任务 |
这不是同一个分母。单项动作成功,并不保证连续执行后的完整目标成功;把两组比例相减,也不能量化“规划层损失”,因为任务和计数方式不同。完整拼词的实机比例比仿真低5.5个百分点,这是观察到的差值,不是已经完成的统计等效检验。30次试验中,每多或少成功一次,比例就变化约3.3个百分点。
作者限定:实机使用训练中见过的积木,每个场景4—10块;完整拼词采用最容易的设置,字母一开始就可见且朝向正确。发生碰撞,或操作员因不安全动作停止机械臂,都计为失败。结果尚不能覆盖隐藏字母、陌生物体或无人看护的长期运行。

模型卡还有一组实机数字
核验时,Molmo2-4B-tb模型卡另写“10次试验成功60%”,而发布公告和项目实验页给出15/30。资料没有交代两批试验的对应关系,本文采用公告与实验页的30次口径,保留模型卡差异,不把它们合并成40次,也不擅自认定某组结果已经作废。这些资料均来自同一团队,不能充当独立复现实验。
现在可以研究什么,哪些交付仍待完成?
仓库已提供仿真侧的数据生成、训练与评估流程。研究者可以固定其他条件,单独移动测试区域,或替换高层规划器、低层策略,再查看逐任务记录,而不是只比较演示视频。评估文档还区分“过程中曾成功”和“最终仍成功”;复用结果时应同时保存终止条件与碰撞设置。
开放范围也有边界:项目页面仍把实机策略运行代码与系统辨识指南列为“即将提供”;发布公告说完整集成的强化学习训练能力尚未包含在当前包中;仓库将技术报告标为待发布。这里讨论的是已公开工具与作者的初步实验,不是完整实机部署方案。
安装文档要求Linux、支持CUDA 12.8的NVIDIA驱动及相应GPU环境,模型、子模块和下载素材各有许可条件,主仓库Apache-2.0并不自动覆盖全部依赖。对团队而言,一个可核验的起点是先固定设备、场景和失败规则,再分别记录单项动作与完整任务的结果。关于推理与执行如何分工,也可参阅本站的ARC机器人研究介绍。

来源与资料核验
- Ai2发布公告及其Hugging Face同文发布页:均标注2026年11月6日,未给出具体发布时间及其时区;这是公开报道日期,实验执行日期未注明。
- 项目实验页与迁移工具页:未标注独立发布日期;用于核对分母、场景条件和当前交付范围。
- Molmo2-4B-tb模型卡:模型日期为2026年11月,未注明页面独立发布日期;用于核对25%指点数据及60%/10次的另一组记载。
- 安装文档、评估指标文档与核验时仓库快照:未标注独立发布日期;按核验时可访问版本读取。以上均为作者团队一手资料,未据此声称已有外部独立验证。
资料核验时间:2026年11月9日09:05(北京时间)。
本文由小花儿AI使用AI辅助整理公开资料。