从天元杯二等奖,看机器人训练的数据资产与治理

 
 

 

2026年11月,2026“天元杯”工业软件赋能产业创新大赛总决赛在株洲举行,宁波霆涛智能技术有限公司(TsingtaoAI)的参赛项目“构建具身智能的Robot-Ready数据飞轮”获得二等奖。霆涛推出的不是单一产品,而是一组面向机器人训练上游环节的工具——三维数据资产生成(VeyForge)、数据质量工程(EmbodataHub和MotionCore),以及在四足机器狗和适老化高智能陪护机器人的实机验证。本文说明这些工具分别针对什么问题,以及目前做到了什么程度。

决赛答辩现场

大屏为参赛项目“构建具身智能的Robot-Ready数据飞轮”

总决赛获奖名单(节选):二等奖,团队编号7765。

来源:赛事公示文件

Robot-Ready:

资产可用、数据可信、结论可查

 
 

具身智能工程实践的常见制约来自数据侧:

其一,可用于仿真的资产不足。训练“把杯子放进柜子”这类接触操作任务,需要柜子、杯子等物体的三维模型,且模型应带物理属性——质量、摩擦系数、惯量、可动关节。公开资产库以视觉模型为主,多数不含物理参数;人工制作一个可交互模型,通常需要熟练建模师一至两天。若柜子是整体网格、柜门不可分离,开门动作就无从训练。

其二,采集数据质量参差。遥操作设备一天可产生数十小时多模态录制,包含视频、关节轨迹与夹爪状态,其中混有失败样本:抓取落空、物体中途滑落、机械臂空转。这些片段在数值曲线上与成功样本往往无差别,人工逐条查看视频的做法在数据量达到一定规模后难以持续。此外,相机与关节控制器常以不同频率工作(本例中为30Hz与500Hz),时钟漂移与传输延迟会造成通道间几十毫秒的偏差,足以影响模仿学习对观测与动作对应关系的判断。

团队将合格训练材料的标准归纳为三条:资产能被物理引擎读取,数据能被训练框架使用,结论可回溯到具体证据,即“Robot-Ready”。“数据飞轮”指这些环节构成的循环流程:照片生成资产,资产进仿真训练,策略上真机验证,真机的失败样本回流,质检后重新入库。每循环一轮,资产与数据的可用性有一定改善。

VeyForge:

生成带物理属性的三维资产

 
 

VeyForge 的输入是2至4张多视角照片,输出三维资产文件,支持 GLB 与 USD/USDA 格式;后者是物理仿真引擎(如 NVIDIA Isaac Sim、Omniverse)使用的资产格式。它与常见“照片生成3D模型”工具的差异,在于生成内容包含物理信息。

只含外形的模型无法直接用于物理仿真:质量取默认值,惯量接近零,碰撞体为粗糙凸包,接触行为会明显失真。VeyForge 3.0 在生成时估算显式质量、密度、质心、六维惯性张量、静摩擦与动摩擦系数、弹性、阻尼与刚度,并写入 USDA 文件。估算结果作为初始值,允许在参数面板中人工修正——例如系统估出0.2 kg、2400 kg/m³,可按实测值修改后重新生成。也就是说,自动估算提供合理初值,最终数值仍需按实际情况校核。

第二项能力是铰链推理。2.0 版本生成的柜子是整体网格,柜门与柜体不可分离,不能用于开门训练;杯腔、柜内腔等中空结构的碰撞体有时会把内腔填平,形成仿真中通常所说的“空气墙”。3.0 将柜门拆分为独立部件,推断旋转轴与运动限位,资产载入 Isaac Sim 后可执行开门动作。转椅滚轮、显示器支架、抽屉滑轨等按同一机制处理。

VeyForge 生成的柜子资产在 Isaac Sim 中开启柜门,柜门为独立部件

工程细节方面:碰撞体经 pyVHACD 做凸包分解以控制面数;网格要求水密、无破洞;生成分两阶段,约10秒生成几何,30秒生成物理与装配信息。合规方面,VeyForge 的3D图像生成算法已通过国家网信办深度合成服务算法备案,支持云端SaaS与企业本地私有化两种部署方式,数据可保留在客户侧。

答辩环节,团队介绍 VeyForge 的资产生成与 Sim2Real 数据闭环

EmbodataHub:

数据质检的工程化

 
 

EmbodataHub 是面向具身智能数据的数据工程平台,其设计出发点是一个具体判断:数据质量的判断长期依赖个人经验,在规模化之后既不可持续,也不可审计。平台的基础改动是以 Episode(一条完整操作片段)而非文件作为组织单位。区别在于:以文件为单位只能知道文件大小;以 Episode 为单位,可以查到一条样本的任务内容、异常发生时间、判定依据与对应证据帧。

质量检测包含七个维度,一次运行完成,每条 Episode 得到加权综合分。视觉质量检测模糊、曝光与帧冻结,依据拉普拉斯方差、像素均值与帧间MSE;突变检测在滤波后计算一至三阶差分,以中位数与 MAD(中位数绝对偏差)识别跳变,相比均值加标准差更不易被离群点干扰;时间同步核对帧间隔、时长、视频流与数据流的起止偏移;极值检测以全数据集的1%/99%分位数与四分位距设定边界,夹爪开度饱和这类合法行为被单独豁免;运动学一致性依据 URDF 机器人模型,使用 Pinocchio 库反算末端位姿并与记录值比对;另有姿态对齐与元数据完整性检查。每项结论附证据帧与时间位置。

评分对应三档处理:0.8及以上通过,可进入训练集;0.6至0.8待人工审查;0.6以下或存在关键缺陷默认排除。数值检测无法判断任务是否完成,平台为此接入视觉语言模型(VLM):抽取关键帧(默认4帧,可调至12帧)连同任务描述送入模型,返回成败判断、评分与理由。VLM 判定失败时,样本仅升级为“待审查”而非直接排除——这是有意保守的设计,用以降低误删的代价。

EmbodataHub 质检报告页:

Episode 数量、总帧数、综合得分与质量分布

检测顺序上,平台建议先运行成本较低的规则检测,再运行成本较高的VLM检测:一次全量VLM调用的开销可能达到全部规则检测的数十倍;新数据集宜先用小批量校准阈值,再扩展到全量。导出环节支持 LeRobot(v3、v2.1)、ACT HDF5、robomimic HDF5、UMI Zarr 等训练框架格式的双向转换,并生成 conversion_report.json,记录字段映射、Episode 清单、过滤器配置与人工覆盖记录。开发方给出的目标是数据集准备周期从数天缩短至小时级;该目标受数据规模与硬件配置影响,实际效果需以具体项目情况为准。

四足巡检与机械臂虚实同步的实机验证

 
 

项目的第三部分在实体设备上运行。其一是基于宇树 Go2 四足机器人的自主导航与智能巡检系统。操作通过浏览器完成,无需安装本地环境;建图使用 SLAM Toolbox,栅格分辨率5厘米;定位使用 AMCL;全局路径规划使用 Navfn,局部避障使用 DWB,控制器运行频率10Hz,局部地图更新频率8Hz,轨迹预测时域1.5秒。机器人到达航点后停稳,分三个方向拍摄三张照片,送入 VLM 生成环境描述,并以语音播报结果。部署上,控制台运行于笔记本的 Ubuntu 虚拟机,导航与运动控制保留在 Go2 机载电脑,二者经局域网连接。

Go2 巡检系统的浏览器控制台:

左侧为地图与航点,右侧为定位与任务面板

其二是虚实动作同步。myCobot Pro 450 六轴机械臂与 myGripper F100 夹爪的真机与仿真使用同一套 ROS 2 sensor_msgs/JointState 接口,关节角度与夹爪开度双向换算。pick-and-place 任务由20Hz状态机驱动,依序执行回零、预抓取、抓取、夹紧、抬起、预放置、放置、松开、回位九个步骤;真机运行中的失败样本回写至仿真侧,作为后续训练数据。这段验证说明,前述资产与数据工具的产出,有对应的执行环节承接。

聚焦具身数据Infra和场景部署

 
 

霆涛智能不制造整机,也不训练基础模型,主要提供仿真资产生成、数据质检与虚实对接的基础工具。这类工作较少出现在展示环节,但直接影响上层算法能否获得合格的训练材料。就当前状态而言,工具链各环节已在真实设备上运行,部分能力——如物理参数估算、任务成败判断——仍以“自动估算加人工复核”的方式工作,其精度与自动化程度决定后续的实际价值。

 
 
 
 

关于TsingtaoAI

霆涛智能定位具身具身数据Infra公司,专注数据平台服务与具身智能解决方案落地,做物理 AI 时代的“送水人”。

官网:https://www.tsingtaoai.com

 

① VeyForge 具身数据合成平台

基于 3D 高斯与流匹配生成引擎,从单图 / 文本到携带完整 PhysX 物理属性的 Robot-Ready 3D 资产分钟级交付,数据合成成本降低 90%。

官网:https://veyforge.tsingtaoai.com/

② Go2 机器狗技能仿真

建立“仿真预训练—真机测试—数据回传—仿真校准”双向闭环,Sim2Real 实体迁移成功率提升至 80% 以上。

官网:https://go2.tsingtaoai.com/

③ Embodata Hub 数据质量治理平台

面向机器人数据生产全链路,七大质量过滤器与 VLM 语义评估,实现从“交数据”到“交可信数据”的跨越。

官网:https://pub.embodatahub.tsingtaoai.com/

④ MotionCore 具身数据治理平台

从人的第一视角视频重建双手与相机三维轨迹,逐帧质检,交付主流机器人学习格式——每条数据都能对回原视频、说清来源。

官网:https://motioncore.tsingtaoai.com/

 

 

Product & Case.

产品与案例

넳 넲