VeyForge：构建具身智能的AI 3D资产与Sim-to-Real数据引擎

在具身智能时代，机器人要学会抓取、搬运、导航和协作，首先要面对一个看似基础、却长期制约研发效率的问题：如何快速、持续、低成本地构建足够真实的三维世界？

一个杯子、一盒饼干、一辆车、一个工位，看似只是场景中的普通物体，却要经过拍摄、建模、贴图、网格优化、碰撞体制作、物理参数配置和仿真适配，才能真正成为机器人可以理解和交互的资产。

传统手工建模单件物体往往需要数小时甚至数天。对于零样本抓取、灵巧手操作、移动机器人导航和自动驾驶极端场景测试而言，资产数量一旦从几十个增长到数千个，建模就会从辅助工作变成研发瓶颈。

VeyForge由霆涛智能技术（TsingtaoAI）自主研发，面向机器人开发者、仿真工程师和智能制造团队打造。它不是只负责生成一个好看的模型，而是连接输入、生成、渲染、物理、仿真和真机验证的端到端资产引擎。

官网将它概括为从实物到仿真的AI驱动3D资产工厂：用户可以用手机拍摄真实物体的多视角照片，也可以输入自然语言描述；平台自动完成三维重建，并将资产导出为适用于不同研发环节的标准格式；接着应用于Isaac Sim平台，实现真实物体到仿真场景的一键数字孪生（Real-to-Sim）：重建得到的三维资产被转换为 USD 格式，并自动绑定物理属性（质量、惯量、碰撞体）与可交互的 Articulation 结构，可直接加载进机器人仿真场景中作为被抓取/操作的物体。在此基础上，平台打通 Sim-to-Real 闭环：用户可以在 Isaac Sim 里完成机器人运动规划、抓取策略训练、强化学习与视觉数据合成，再将验证通过的策略与轨迹回放到真实机器人上执行，从而实现「真实物体拍照/描述 → 三维重建 → 标准格式资产 → Isaac Sim 仿真验证 → 真实机器人部署」的完整数字孪生研发流水线，显著缩短从实物到仿真、再到真机落地的研发周期。

图：从多视角图片输入，到AI生成3D资产，再到Isaac Sim仿真应用，落地到真机

这条链路的价值在于，模型生成不再是研发流程的终点，而是机器人训练、场景测试和真实部署的起点。

• 第一步，素材输入。支持多视角图片、单张图片和文本描述，手机即可完成基础采集。

• 第二步，AI生成。平台自动完成背景处理、稀疏骨架生成和结构化潜变量生成，先确定整体空间结构，再补充几何与纹理细节。

• 第三步，实时预览。用户可以查看高斯渲染、法线渲染和交互式3D模型，提前发现结构、纹理和视角问题。

• 第四步，格式导出。根据使用场景，输出GLB网格模型、PLY高斯点云和面向仿真的USD/USDA物理资产。

• 第五步，进入仿真与训练。资产可用于Isaac Sim中的抓取、导航、碰撞、堆叠、传送带上下料和闭环测试。

图：生成后的高斯与法线渲染预览，支持在导出前检查模型质量。

机器人需要的不是一张漂亮的贴图，而是一个能够参与物理交互的数字对象。VeyForge可以基于生成的GLB网格进一步计算质量、体积、质心和惯性张量，并配置对应的物理参数。

可配置的物理属性包括：

• 质量与密度：用于建立物体的重量和受力关系。

• 碰撞体类型：支持none、convexHull、convexDecomposition、boundingCube和boundingSphere等选项。

• 静态摩擦与动态摩擦：用于模拟物体接触、滑动和抓取过程中的摩擦行为。

• 弹性恢复系数：用于控制碰撞后的反弹效果。

这些参数最终可以写入USDA资产，并在物理可视化界面中检查视觉网格与碰撞网格，为机器人抓取和交互训练提供更接近真实世界的基础。

图：物理属性可视化界面，可同时查看视觉网格、碰撞网格、质心、密度、惯性和质量等信息。

对具身智能而言，3D资产生成的终点并不是仿真里看起来很像，而是机器人能否把在仿真中学到的能力迁移到真实世界。这个过程通常被称为Sim-to-Real，即从Simulation到Reality的能力迁移。

VeyForge的价值，在于它把Sim-to-Real前面最容易被低估的资产环节和场景环节补齐了：让仿真中的物体形状、材质、尺度、碰撞关系和物理属性更接近真实对象，让训练数据不再停留在理想化模型层面。

在机器人仿真落地中，真正决定系统能否运行起来的，不只是一个3D模型，还包括机器人描述、关节控制、状态反馈、夹爪映射和任务执行。以myCobot Pro 450六轴机械臂与myGripper F100夹爪的Isaac Sim适配方案为例，VeyForge可以将真实硬件、仿真环境和上层任务控制组织成一条清晰的工程链路。

这条链路的统一接口是ROS 2的sensor_msgs/JointState：真实端通过pymycobot SDK读取和发送关节状态，仿真端通过Isaac Sim Action Graph发布与订阅关节状态，双方使用同一组关节名称，再完成角度单位和夹爪开度的转换。对于上层应用而言，真机和仿真不再是两套割裂的控制程序，而是同一套动作数据在不同执行端的映射。

Real to Sim：拖拽示教或真实机器人执行任务时，控制节点读取真机关节角度，转换为弧度后以JointState发布到isaac_joint_commands，Isaac Sim中的ROS2SubscribeJointState和ArticulationController接收消息，驱动仿真机械臂同步运动。

Sim to Real：在Isaac Sim的Physics Inspector或滑杆界面中改变关节状态，仿真端通过ROS2PublishJointState发布isaac_joint_states，真实端控制节点订阅后完成弧度到角度的转换，再通过send_angles驱动真实机械臂。

闭环任务：在pick-and-place流程中，系统由20 Hz定时器驱动home、预抓取、抓取、夹紧、抬起、预放置、放置、松开和回位等状态；目标位姿通过逆运动学求解，动作发送给真机后再轮询实际关节角，将真实执行结果实时回写到仿真侧。

如果说VeyForge解决了资产从哪里来，那么IsaacSim-qt解决的就是资产生成之后如何快速进入任务。它不是单纯的Isaac Sim启动器，而是一套面向网页交互的仿真平台：用户上传GLB或USD资产，在浏览器中选择场景、配置质量与尺度、设置抓取和放置参数，即可启动机器人任务仿真。

平台后端由FastAPI提供场景、上传、仿真启动、停止和任务控制接口；仿真控制器将系统状态组织为IDLE、CONVERTING、LOADING、RUNNING、DONE和ERROR等阶段，通过命令队列让网页请求与Isaac Sim主线程解耦。场景注册器则自动发现继承BaseScene的场景插件，使新的任务可以通过资产槽、场景参数和物理回调接入平台。

这意味着，机器人仿真不再要求每一位使用者都直接修改USD、Action Graph或Python脚本。研发人员可以在网页端完成资产上传、场景选择、参数配置和运行监控；算法工程师仍然可以在底层继续扩展视觉、规划、控制和强化学习模块。

图：网页仿真平台中的传送带上下料场景，支持上传GLB/USD并配置缩放、质量、速度和抓取偏移。

图：厨房台面整理场景，资产和任务参数可以在网页端配置后直接进入实时仿真。

图：通用抓取与放置场景，用于验证机器人在两个目标点之间搬运物体的能力。

当前平台已经覆盖通用抓取与放置、无人货架取货、传送带上下料、厨房整理和工厂取放等典型任务。它把VeyForge生成的3D资产从一个文件，变成可被机器人感知、抓取、移动和验证的任务对象。

图：无人货架场景，支持货品选择、补货资产上传、货位配置和取货流程仿真。

对于更复杂的具身智能任务，单次仿真验证还不够，还需要大规模强化学习、模仿学习、运动规划和多任务训练。VeyForge可以把生成的资产继续送入Isaac Lab等GPU加速训练框架，并通过IsaacLab-Arena将场景、机器人本体和任务目标解耦组合。

在这种架构下，Scene负责场景布局和资产配置，Embodiment负责机器人本体与传感器，Task负责抓取、插拔、开关、导航或整理等目标。研发团队可以复用同一批VeyForge资产，快速组合出不同机器人、不同场景和不同任务的训练环境，而不必为每个实验重新搭建完整工程。

从移动操作、厨房抓取、微波炉开合，到旋钮操作、插拔任务、分拣和桌面抓取，训练任务可以被组织成可复用的环境配置。资产生产、仿真验证和策略训练由此形成一条连续流水线：资产越丰富，任务覆盖越广；任务越丰富，策略泛化越强；真机反馈越充分，下一轮资产和场景配置就越接近真实需求。

图：VeyForge批量3D资产生成入口，支持以ZIP组织多视角数据，并自动输出GLB、PLY、USDA和URDF等格式。

场景一：机械臂与灵巧手的零样本抓取

零样本抓取和精细操作需要大量外形、材质和尺寸不同的物体。VeyForge可以快速生成异构物体资产，并配置碰撞与摩擦属性，用于抓取策略训练、失败重放和泛化测试。

场景二：移动机器人与自动驾驶的极端场景测试

安全验证不能只覆盖常规道路和标准物体，还要覆盖Corner Cases。VeyForge可以帮助团队更快搭建小众、复杂、高风险的测试场景，降低真实环境测试的成本和安全风险。

场景三：工业工位与传送带上下料仿真

将工位设备、货物、传送带和操作对象快速数字化，结合质量、碰撞和摩擦参数，构建上下料、码垛、堆叠和通用抓取环境，帮助企业在上线前完成流程验证。

场景四：物理语义一体化数字孪生

VeyForge生成的不只是视觉模型，还可以结合物理属性和场景语义，服务园区巡检、工业工位复刻、仓储物流和车载仿真等数字孪生项目。

场景五：批量资产生产与训练数据泛化

当项目从单个Demo进入数据生产阶段，批量处理、统一参数、自动导出和失败任务管理将成为关键。VeyForge可结合批量生产工具和企业级API，将资产生成能力接入已有研发流程。

图：机械臂抓取、移动机器人道路仿真和工业工位数字孪生等应用方向。

对个人用户而言，VeyForge解决的是我不会建模，但我需要一个3D资产的问题；对企业而言，它解决的是我们需要持续生产大量可用资产，并让资产进入研发闭环的问题。

• 第一，缩短研发周期。将传统数小时、数天的建模流程压缩到分钟级，帮助团队更快完成方案验证。

• 第二，降低专业门槛。算法工程师和仿真工程师可以直接使用图片或文本发起资产生成，减少对专职建模资源的依赖。

• 第三，提升场景覆盖。通过批量生成不同外形、材质和摆放条件的资产，扩大训练数据的分布范围。

• 第四，减少真机试错。更多工作可以提前在仿真环境中完成，降低设备占用、场地安排和安全验证成本。

• 第五，形成可持续的数据飞轮。真实数据进入仿真，仿真数据服务训练，真机结果再次回流，资产和策略在循环中持续优化。

传统流程往往是建模、贴图、绑定、导出、适配、修复多个环节串行推进；VeyForge则将输入、生成、预览、导出和仿真连接成一条自动化流水线。

图：传统手工建模与VeyForge AI智能建模的效率、门槛、仿真适配和部署方式对比。

更重要的是，VeyForge的目标不是替代某一个建模软件，而是成为机器人研发流程中的资产层：上接真实世界数据，下接仿真平台、训练框架和真机系统。

对于普通用户，平台提供简单的一键生成体验；对于专业团队，平台开放随机种子、引导强度、采样步数、网格简化比例和贴图分辨率等参数，支持从快速预览到高质量生产的不同需求。

在部署方式上，VeyForge支持云端SaaS线上服务和企业本地私有化部署，也可以通过企业级API对接团队现有的仿真、自动化和数据生产系统。对于大规模资产生产，还可以进一步扩展批量任务、统一输出和结果归档能力。

• 1. 采集：用手机拍摄目标物体2至4张不同角度照片，或准备已有图像和文本描述。

• 2. 生成：选择图片、多视角或文本模式，点击生成并等待AI完成三维重建。

• 3. 检查：通过高斯、法线和交互式3D预览检查模型质量。

• 4. 物理化：配置质量、密度、摩擦、弹性和碰撞体，生成USDA物理资产。

• 5. 仿真：导入Isaac Sim，用于抓取、导航、堆叠、上下料或极端场景测试。

• 6. 迁移：将验证后的策略迁移到真实机器人，并将真机结果反馈到下一轮仿真训练。

从一张照片，到一个可以旋转查看的3D模型；从一个3D模型，到一个拥有碰撞、质量和摩擦属性的仿真对象；再从仿真对象，到机器人能够抓取、搬运、堆叠和执行任务的数字资产，VeyForge正在把3D生成推进到更接近真实生产的阶段。

当资产生产速度提升，机器人训练可以拥有更多样本；当物理属性和场景语义被补齐，仿真结果可以更接近现实；当Sim-to-Real形成数据闭环，算法就不再只是一次性Demo，而能在真实世界中持续进化。

VeyForge——从实物到仿真，从仿真到真机，为机器人开发者加速。

免费体验：veyforge.tsingtaoai.com

合作方向：机器人仿真、具身智能、自动驾驶、工业数字孪生、批量资产生成与私有化部署。

前文介绍了VeyForge如何将照片、文本和批量数据转化为GLB、PLY、USD/USDA等3D资产。本次更新进一步补充产品的工程落地能力：这些资产可以进入网页化Isaac Sim任务平台，连接ROS 2真机控制与仿真控制，并继续服务Isaac Lab强化学习和模仿学习训练。

一、网站端直接配置机器人任务

VeyForge配套的IsaacSim-qt平台，将资产上传、场景选择、参数设置和实时仿真集中到浏览器中。用户可以上传GLB或USD文件，设置缩放、质量、抓取位置、放置位置和场景偏移，然后启动仿真并查看运行状态。后端通过FastAPI提供场景、上传、启动、停止和任务控制接口，仿真控制器负责将转换、加载、运行、完成和异常等状态统一管理。

图：传送带上下料场景。机器人从地面抓取工件并放置到传送带，页面可配置资产、质量、缩放、传送带速度及抓取和放置偏移。

图：厨房台面整理场景。机器人在带有橱柜、抽屉和桌面的环境中执行整理任务，资产和任务参数均可在网页端配置。

图：通用抓取与放置场景。平台用于验证机器人在两个目标位置之间抓取、搬运和放置物体的完整流程。

二、无人货架与多任务场景，让资产进入真实业务流程

网页平台已覆盖通用抓取与放置、无人货架取货、传送带上下料、厨房整理和工厂取放等场景。无人货架场景支持选择水、药品、纸巾、摆件、茶叶和保温杯等货品，也支持上传自定义补货资产；这使同一个3D资产能够从单体预览进一步进入货架取货、补货和收银台放置等完整业务流程。

图：无人货架场景。页面支持货品选择、补货资产上传、货位配置，并可验证从货架取货到收银台放置的任务流程。

三、ROS 2让真实机器人和仿真机器人使用同一套动作数据

在myCobot Pro 450与myGripper F100的适配方案中，ROS 2的sensor_msgs/JointState作为虚实统一接口。真实端通过pymycobot SDK读取或发送关节状态，Isaac Sim端通过Action Graph发布和订阅isaac_joint_states、isaac_joint_commands。Real to Sim方向用于拖拽示教、真实任务回放和真机状态同步；Sim to Real方向用于滑杆控制、仿真动作验证和策略迁移。

在pick-and-place任务中，系统以20 Hz定时器驱动回零、预抓取、抓取、夹紧、抬起、预放置、放置、松开和回位等状态。目标位姿通过逆运动学求解，真实机械臂执行后再读取实际关节角并同步回仿真侧，形成真机执行、仿真映射、状态回读的闭环。F100的0至100开度值与仿真夹爪弧度之间也进行双向换算，并通过mimic关节保持左右夹爪同步。

四、从仿真验证到策略训练

生成的资产不仅可以用于一次性演示，还可以继续进入Isaac Lab和IsaacLab-Arena。Arena将Scene、Embodiment和Task解耦：Scene负责场景与物体，Embodiment负责机器人本体与传感器，Task负责抓取、导航、开关、旋钮、插拔、分拣和整理等目标。团队可以复用同一批VeyForge资产，快速组合不同机器人、不同场景和不同任务的强化学习、模仿学习与运动规划环境。

图：批量3D资产生成入口。用户可以将多个物体的多视角图片按ZIP组织上传，并批量输出GLB、PLY、USDA和URDF等格式，为训练数据生产提供规模化入口。