小米开源具身生成大模型U0,要给机器人批量“造数据”
小米将大模型能力进一步推向机器人领域。
7月15日,小米正式发布并开源具身生成模型Xiaomi-Robotics-U0(以下简称“U0”)。该模型拥有380亿参数,将具身世界建模与通用图像生成能力统一在一套多模态自回归架构中,主要用于生成、迁移和扩增机器人训练数据。
U0的目标是为机器人“造数据”。
机器人要学会抓取、搬运、整理等动作,需要在大量不同场景中反复训练。但现实世界的数据采集成本高、周期长,危险、极端以及低频场景也难以充分覆盖。
U0试图把这一过程变成可批量运行的数据生产线。已有的机器人真机数据可以直接更换物体、光照、材质和背景,而不必重新搭建场景、部署设备并重复采集;现实中难以获取的长尾场景,也可以通过模型直接生成。
U0还提出FlashAR+高速推理加速方案,通过对角并行解码与缓存调度技术,将一张1024×1024分辨率的高清训练图片生成时间,从450.77秒压缩至5.44秒,效率提升82.9倍。
这意味着,机器人公司可以在较短时间内,批量生成覆盖不同背景、光照、物体等训练数据。
U0将具身场景生成、具身轨迹迁移、机器人交互视频生成,以及通用文生图和图像编辑四类任务统一在一个模型中,基本贯通了“生成场景—迁移轨迹—扩展环境—生成交互过程”的数据生产链路。
事实上,类似的开源尝试已经开始在具身智能行业出现。2025年3月,群核科技开源空间理解模型SpatialLM。该模型可以将视频或点云转化为包含墙体、门窗、家具及空间关系的结构化3D场景,企业可以针对自己的场景进行微调,用于提升机器人对物理空间的理解能力。
当前,具身智能行业仍面临训练数据不足、场景覆盖有限和研发成本较高等问题。开源模型无法完全替代真机数据,也无法解决机器人与现实环境之间所有复杂的物理交互,但可以在一定程度上降低数据扩充和模型训练的成本,加快机器人从实验室走向工厂、仓库和家庭等真实场景。
