从仿真到现实:数字孪生解锁具身AI全景应用

 
作者:Junfei Li, Simon X. Yang
翻译:Qwen3-235B-A22B
 

 

 
 
 
 
 
 
 
 
 
 
 
摘要
 
 
 
 
 
 
 
 
 
 
 

Embodied AI正在重塑智能机器人系统的格局,尤其通过为复杂且动态的环境中的行动执行提供许多现实可行的解决方案。然而,具身AI需要生成大量数据用于训练和评估,以确保其与物理环境交互的安全性。因此,有必要构建一个成本效益高的模拟环境,能够从物理特性、物体属性及交互中提供充足的训练和优化数据。Digital Twins是工业5.0中的关键议题,它通过镜像真实世界对应体的状态和行动,实现对物理过程的实时监控、模拟与优化。本综述探讨了将数字孪生与具身AI结合的方式,通过将虚拟环境转化为动态且数据丰富的平台,弥合仿真与现实之间的差距。这种整合提供了实时监控和虚拟模拟功能,使具身AI代理能够在部署至真实场景前,在虚拟环境中进行训练和适应。本文还讨论了整合数字孪生与具身AI的主要挑战及未来发展的新视角。据我们所知,这是首次全面综述两者协同效应的工作。

图示摘要

1280X1280.JPEG

 
 
 
 
 
 
 
 
 
 
 
关键词
 
 
 
 
 
 
 
 
 
 
 

 

数字孪生、具身人工智能、机器人数字孪生、人体数字孪生、人机协作
 
1 引言

Embodied AI代表了一种向现实系统发展的总体趋势,这类系统需要具备适应真实世界动态且不确定情境的能力 。与传统依赖网络空间抽象数据处理的“非具身AI”不同,具身AI强调物理交互、感知和运动在完成多目标任务中的重要性,包括具身机器人的传感与多传感器融合、应对不确定性和干扰的安全导航与交互,以及理解人类行为的自我监督学习与推理能力 [[2-4]]。具身AI需要在其周围环境中生成大量数据用于训练和评估。此外,危险场景下对机器人的潜在损害及交互过程中可能对人类造成的伤害,导致当前具身AI仍无法突破仿真环境的限制。因此,构建一个低成本高效的仿真环境对具身AI的训练和优化至关重要。

许多具身仿真器已被开发为具身AI研究的测试平台。段等人对现有具身AI仿真器进行了对比综述 。研究表明,AI2-THOR 、Gibson  和 Habitat-Sim  因其真实性、可扩展性和交互性等评估特性,在具身AI研究中备受推崇且广泛应用。刘等人则综述了具身AI研究中使用的各类仿真器 。他们指出,仿真器的快速发展(如RoboGen 、HOLODECK 、PhyScene  和 ProcTHOR )在增强交互性、多样性及物理一致性仿真环境生成方面具有重要价值。然而,多数仿真器存在局限性。例如,AI2-THOR虽然提供丰富的交互场景,但其基于脚本的交互缺乏物理真实性,仅适用于无需高精度交互的任务;Matterport3D  虽在具身AI基准测试中具有基础性地位,但其代理交互能力有限。

实现具身AI面临的一个重大挑战被称为“sim-to-real gap”,即在仿真环境中训练或开发的模型、算法或控制策略难以迁移至真实系统。尽管仿真提供了低成本、安全的测试与训练途径,但其往往无法完全捕捉真实世界的复杂性、变异性与不可预测性,而真实实验的高成本、风险与复杂性加剧了这一矛盾。DTs是工业5.0  与智能制造 的关键议题,通过镜像物理实体的状态与行为,实现物理过程的实时监控、仿真与优化。近年来,其已成为提升机器人系统效率与可靠性的核心工具 [[17-20]]。数字孪生在机器人应用中具有显著优势:例如,通过创建物理机器人及其环境的虚拟表示,支持实时仿真与多场景测试,从而提升协作机器人效率与安全性;此外,其提供的物理系统共享可视化呈现,可增强人类对人机协作任务中系统行为的理解。

数字孪生技术的最新进展有望满足具身AI在虚拟环境中训练与优化的需求,同时增强实时响应能力。因此,本文全面综述了数字孪生与具身AI的研究进展,并提出了两者融合的新视角。两者的结合为智能系统发展提供了新机遇:数字孪生使AI代理能在部署前于数字虚拟环境中测试与优化行为;人体与环境数字孪生则拓展了具身AI的边界,提升大规模环境中的人机协作与操作效率。本文系统分析了数字孪生从概念起源到当前机器人应用的发展,并探讨了前沿具身AI的核心技术。据我们所知,这是首次对数字孪生与具身AI协同潜力的全面综述,强调数字孪生如何通过高精度实时虚拟副本赋能具身代理在复杂环境中学习、适应与高效运行。

本文结构如下:第2节介绍全文概览;第3节综述数字孪生在机器人系统中的应用;第4节讨论具身AI的关键技术;第5节探索数字孪生与具身AI的潜在关联;第6节总结未来研究方向。

 

2 概览

本节首先介绍数字孪生的背景,随后阐述文献综述流程,最后呈现初步结果。

2.1 数字孪生的背景

数字孪生的概念可追溯至1960年代,当时NASA在阿波罗计划中使用虚拟仿真技术测试与模拟航天器。尽管当时未提出“数字孪生”这一术语,但虚拟模型与物理实体的紧密集成已初现端倪 。2002年,Grieves首次将“数字孪生”概念引入产品生命周期管理。数字孪生技术通过创建覆盖产品全生命周期(从设计、制造到维护)的虚拟模型实现。2010年代,IoT与大数据技术的快速发展为数字孪生应用提供了强大支撑 [[24-26]]。物联网设备可从物理实体采集实时数据并传输至虚拟模型,实现同步更新与仿真。此外,数字孪生已成为工业4.0的关键技术,广泛应用于智能制造、预测性维护与生产优化 [[27-29]]。基于实时监控与数据分析,数字孪生显著提升了生产效率与产品质量。2012年,NASA重新定义数字孪生为集成多物理场、多尺度建模与概率方法的高精度仿真。这些数字孪生通过历史数据、实时传感器输入与详细物理模型,实现对物理实体的高保真实时映射。

近年来,随着人工智能、5G与区块链等新兴技术的发展,数字孪生已成为多行业应用的研究热点。黄等人将LLMs融入数字孪生,以模拟复杂场景并精准预测未来状态。罗德里戈等人基于区块链技术开发了面向5G/6G环境的数字孪生移动网络,兼顾网络安全与工业4.0场景。该网络通过数字孪生提供低成本性能评估与决策支持。哈桑等人提出基于区块链的流程创建数字孪生,确保数据溯源的安全性与可信度 。冯等人开发了基于数字孪生的智能齿轮健康管理系统,利用新型迁移学习算法评估齿轮退化。张等人则提出基于数字孪生的轴承状态智能诊断方法,结合部分域自适应算法。冯团队进一步提出数字孪生驱动的域对抗图网络,在有限知识条件下实现轴承故障诊断。除工业领域外,数字孪生在医疗 、农业 与交通  等领域亦展现应用潜力。表1总结了Web of Science数据库近五年高被引数字孪生论文。

表1 基于Web of Science数据库的高被引数字孪生论文

output.png

 

DT:数字孪生;WOS:科学引文索引(Web of Science);EMT:电磁暂态;PSDT:电力系统数字孪生;DNN:深度神经网络;AI:人工智能;UAVs:无人飞行器;DL:深度学习;CNN:卷积神经网络;SVM:支持向量机;MRI:磁共振成像;HRC:人机协作。
如表1所示,数字孪生已应用于电力系统、制造业、医疗保健、智慧城市、交通、医学影像、传感器技术、人机协作及智能电池等多个领域。关键成果表明,系统效率、预测能力及运行优化均显著提升,凸显了数字孪生在增强多行业性能与决策能力中的关键作用。然而,许多研究的数据来源仍主要依赖模拟数据,而非实际环境中的实时数据采集。
2.2 文献综述流程
为高效检索与收集研究论文,选用了科学引文索引(WOS,https://webofscience.com)和工程村(EI,http://www.engineeringvillage.com/),因其全面覆盖工程领域的高质量同行评审出版物。此外,通过Google Scholar补充收集高被引论文,特别是arXiv(https://arxiv.org/)上的未发表论文 。
期刊论文的筛选基于其与数字孪生和具身人工智能的相关性,以及WOS的期刊引文报告。涵盖的研究领域包括信息科学、自动化、生物信息学、影像科学、工业制造、电气与电子工程及机器人学。此外,还纳入了顶级人工智能会议(如IEEE/CVF计算机视觉与模式识别会议CVPR、IEEE/CVF国际计算机视觉会议ICCV)和机器人会议(如IEEE国际机器人与自动化会议ICRA、国际智能机器人与系统会议IROS)的论文。
本次综述涵盖两个方面:数字孪生与具身人工智能。数字孪生与人机协作(HRC)的检索语句(WOS版本)为:
(TS = ((digital twin* OR "digital twins" OR "digital-twin" OR "robotic digital twin*" OR "human digital twin*" OR "environmental digital twin*" OR "industrial digital twin*" OR "manufacturing digital twin*" OR "agricultural digital twin*" OR "environmental digital twin*" OR "urban digital twin*)
AND (human-robot OR "human robot" OR "human machine" OR interaction OR interactive OR collaboration OR collaborative)
AND (industrial OR industry OR manufacturing OR production))
AND (PY = 2020 OR 2021 OR 2022 OR 2023 OR 2024)
具身人工智能的检索语句为:
(TS = (("embodied AI" OR "embodied artificial intelligence")
AND (sensing OR perception OR "motion planning" OR "motion control" OR learning OR reasoning OR interaction OR collaboration OR train OR "real-world environment"))
AND (PY = 2020 OR 2021 OR 2022 OR 2023 OR 2024)
经过根据标题、关键词和摘要筛选排除无关论文后,共选出107篇相关论文。此外,还补充了参考文献及支持材料中的相关论文,最终形成138篇论文的综述基础。
2.3 初步结果
文献综述中发现了若干初步观察结果。具身人工智能研究的主要挑战之一是“仿真到现实差距”。许多仿真算法依赖简化或预定义模型,常难以在真实场景中有效运行。这一挑战在需要大规模机器人协同控制的复杂任务中尤为明显。此外,当前数字孪生研究常侧重虚拟环境构建,但多数研究未将这些虚拟空间扩展至学习、预测或推理领域,导致基于数字孪生的实用策略在现实场景中影响有限。
本综述建议,整合数字孪生与具身人工智能的框架可解决两者的局限性。数字孪生通过提供高保真现实环境模型,可缩小具身人工智能中的仿真到现实差距;而数字孪生中基于人工智能的学习与推理机制,则能将虚拟环境从被动仿真转变为数据丰富的持续训练与验证平台。这种协同关系可实现物理与虚拟组件的持续优化,最终促进适应性更强、更易迁移至真实场景的策略发展。
然而,尽管数字孪生与具身人工智能的结合潜力巨大,本综述也识别出若干集成挑战,总结如下:
● 数据延迟与传输:大量数据需在物理系统与数字模型间传输,导致延迟并阻碍实时反馈,尤其在医疗或工业机器人等需快速响应的场景中问题突出;
● 同步问题:更新延迟或不匹配可能导致基于过时或错误数据的决策,尤其在快速变化的环境中,连续同步至关重要;
● 数据隐私:以人为中心的应用常依赖健康指标或行为模式等个人数据,需在保障系统功能的同时采取稳健安全措施以防范隐私风险;
● 数字孪生的可扩展性:随着系统扩展,管理互操作性与韧性的复杂性增加,这对智慧城市和大型工业网络等需高效、自适应且安全的数字孪生操作的领域尤为重要。

 

3 机器人系统中的数字孪生

 

本节探讨数字孪生在机器人系统中的集成,涵盖其历史发展、机器人数字孪生的作用及在工业与人机协作中的应用。重点阐述数字孪生的核心关注点:涉及的物理组件、使用的仿真平台、数据收集方法及系统提供的服务。这些因素对数字孪生的性能与适用性至关重要,其深入理解对推动该领域研究与实践应用具有重要意义。
3.1 机器人数字孪生
机器人在工业生产与制造流程中扮演日益重要的角色。将机器人系统集成至工业流程中,可使人类操作员专注于更战略性和创造性的复杂任务。机器人数字孪生代表了机器人技术、数字建模与实时数据分析的综合融合。图1展示了机器人数字孪生的一般示例。物理机器人的虚拟对应体通过提供高保真动力学、运动学及操作环境仿真,增强交互、监控与控制能力。基于实时多模态传感器数据,机器人数字孪生持续更新以镜像其物理对应体的状态,从而支持预测性维护、任务优化及对变化条件的适应性调整。通过仿真驱动的设计、测试与部署,机器人数字孪生可显著加速机器人训练过程,为验证人工智能驱动的控制策略和确保实际应用中的运行可靠性提供稳健平台。
 
ba0528e1-3c6b-4a2c-9b71-3d445e581e5c.jpg

 

图1. RDT示例。(A)多模态传感器结合多种传感器类型的数据(如视觉、听觉和触觉输入),提供全面且稳健的环境感知能力,提升智能系统的准确性与可靠性;(B)数字孪生(DTs)数据包含实时数据,用于表征物理机器人的物理与功能特性;(C)DTs创建物理机器人的虚拟表征,并实现对其物理实体的实时仿真;(D)DTs模拟机器人的物理特性、环境和运行条件,使机器人能在虚拟环境中进行训练和学习;(E)DTs提供实时数据和洞察,这对在复杂环境中做出明智决策至关重要;(F)DTs通过识别最有效的执行序列和方法,帮助优化复杂任务的执行。RDT:机器人数字孪生;DTs:数字孪生。
RDT的一个重要特征在于其准确模拟机器人系统动态特性的能力。实现这一点需要对机器人系统进行高精度建模,通常利用CAD等工业软件或Unreal等游戏引擎。表2总结了当前RDT研究的重点,涵盖其物理与虚拟组件、数据采集方法及服务功能。Sun等人开发了一个基于多模态数字孪生环境的复杂装配任务学习框架,该环境整合了视觉、触觉力觉和本体感觉数据。通过收集基于虚拟现实的演示数据,并通过多模态分析构建技能知识库,他们实现了将数字领域中学习到的装配技能转移到实际场景中。Xu等人提出了一种用于多机器人协同制造的认知数字孪生框架,其中基于深度自编码器的不完全多模态Transformer通过高效处理不完整数据增强了系统的认知能力。这种多模态方法提升了数字孪生环境的鲁棒性和适应性。Liu等人提出了一种高保真建模方法及RDT架构,以增强实时监测和智能应用能力。通过紧密对齐虚拟与物理系统,该框架在透明管理、全面仿真和数据可视化方面具有优势,但潜在缺点包括高计算需求、可扩展性挑战以及模型适应多样化工业环境的复杂性。Li等人提出了一种基于数字孪生的检测机器人同步架构。该机器人系统基于SLAM构建真实世界地图,无线通信确保数据传输和机器人同步的流畅性,从而在虚拟环境中实现算法训练与实时运动。Liang等人开发了一个实时数字孪生系统,通过模拟与物理机器人之间的实时同步,在轨迹规划与执行中实现了高精度。虽然该系统成功实现了虚拟与物理环境的实时连接,但系统复杂性和数据传输潜在延迟可能限制其在更动态或大规模建造场景中的可扩展性和性能。Zhang等人提出了一种在数字孪生环境中机器人动力学的高保真仿真平台。该方法提供了准确反映实际系统的控制逻辑,简化了算法开发并支持真实与仿真环境的同步测试,但实施详细动态模型可能导致计算成本和复杂性增加,尤其在扩展到更大或更多样化的工业场景时。Liu等人开发了一种基于数字孪生的方法,用于将DRL算法从仿真环境转移到物理机器人。该方法利用数字孪生校正真实世界抓取点,提高机器人抓取精度,并验证了仿真到实物迁移机制的有效性。Mo等人提出了Terra,一种智能数字孪生框架,采用多模态感知模块捕捉并持续更新实时环境与机器人状态。这种多模态方法丰富了数字孪生表征,支持虚拟与物理空间之间的实时策略更新和反馈循环。然而,尽管Terra在障碍物丰富的环境中使用简单机器人表现出有效性,其可扩展性在适应更复杂或资源受限的场景时可能存在局限。Cascone等人创建了Pepper人形机器人的虚拟副本VPepper,以改善智能家居环境中与智能物体的交互,允许进行密集的机器学习训练而不损坏物理机器人。此外,Xu等人提出了一种基于数字孪生的工业云机器人框架,将高保真数字模型与传感数据集成,通过“机器人控制即服务”封装机器人控制能力,确保数字与物理机器人之间的精准同步与交互。
表2 近期RDT研究总结
 
0b209d7a-8ab1-49d4-bce2-91a5fca3a596.png
如表2所示,结果表明Unity 3D等平台因其支持实时监控、物体识别和策略更新的多功能性而被广泛使用。其他平台如V-REP和PhysX物理引擎则专注于精确任务,例如抓取校正和仿真到现实的迁移。KUKA工业机器人等物理组件通常与ROS和Tecnomatix等先进平台配对使用,可在工业环境中实现运动优化和决策制定。同时,Pepper人形机器人和定制机器人会与Unity 3D结合使用,在HRC场景中实现智能感知和紧急干预。此分析突出了Unity 3D的适应性,使其成为各种应用场景的首选。
3.2 工业应用中的RDTs
在工业应用中,RDTs在优化制造流程、提高效率和降低成本方面发挥着关键作用。机器人建模涉及在三维环境中管理机器人系统。然而,简单的虚拟可视化不足以定义RDTs。至关重要的是,RDTs应具备根据任务变化和环境不确定性进行学习和优化的能力,从而动态调整物理机器人系统。张等人还提出了一种基于知识图谱表示知识和功能模块整合多源数据的大规模组件机器人系统数字孪生建模新方法。张等人开发了基于本体信息模型的通用工业机器人DT架构,以解决可扩展性和可重用性的挑战。本体信息模型是一种使用形式化本体表示特定领域知识的结构化框架。在制造业中,陈等人引入了一种基于多传感器融合的数字孪生,用于预测机器人激光定向能量沉积增材制造的质量。该方法将多传感器特征与实时机器人运动数据同步,以预测裂纹和匙孔气孔等缺陷。此外,李等人开发了用于PCB套件箱体自动化装配的数字孪生模型,结合对称性驱动方法优化位姿匹配,并采用基于小位移扭量和蒙特卡洛方法的质量预测模型。刘等人利用数字孪生和深度Q学习网络,在不确定缺失条件下动态优化机器人拆卸序列规划。文娜等人提出了一种用于大跨度曲线臂龙门机器人三维路径规划的数字孪生框架,整合双边控制、三维网格构建和基于导航网格的多目标路径规划,以提升安全性和实时性能。胡等人提出了一种抓取生成与选择卷积神经网络,在智能机器人抓取的数字孪生中训练和实现,以识别最佳抓取位置。Tipary和Erdős通过迭代优化数字和物理空间中的工作单元,在拣选放置任务和重构场景中展示了加速调试和重构过程的能力,同时最大限度减少物理工作量。
如表3所示,Unity 3D作为广泛使用的平台,提供了三维路径规划、运动分析和动态序列规划等能力,这对工业任务至关重要。MATLAB和MWorks等平台被用于预测性维护和生命周期管理,而ROS和OpenCASCADE则专注于实时监控和自适应控制。KUKA和UR5机械臂等物理组件通常用于支持抓取规划、路径优化和碰撞检测等任务。RGB-D传感器、红外相机和三维位置数据等先进数据采集方法提升了这些应用的准确性和效率。此外,Neo4j和Leica AT960 LT被用于大规模测量和装配仿真,强调数据交换与分析。
表3 近期工业应用中RDTs的总结
 
4c4a6359-33bf-4dd9-ba2d-c5a2f5769086.png
3.3 HRC中的RDTs
HRC的发展日益受到协作机器人技术的推动,这类机器人专门设计用于与人类操作员协同工作。与传统机器人通常在隔离环境中运行不同,协作机器人配备了先进的传感器和人工智能功能,使其能够与人类安全高效地互动。这些机器人常被用于执行重复性高、存在危险或体力要求大的任务,从而提升工作场所的安全性和生产效率[[81-83]]。在工业发展的更广泛背景下,工业5.0正作为一种新范式兴起,强调人类在工业和制造流程中的核心地位。与传统工业机器人主要关注通过提高产出和降低成本来优化系统性能不同,工业5.0倡导将人类技能、创造力和决策能力与先进技术相结合。这种以人为本的方法通过在协作环境中结合人机优势来促进创新[[86-88]]。
在HRC场景中,DTs正被越来越多地应用以提升安全性、效率和整体用户体验,如表4所示。Park等人提出了一种基于数字孪生技术的框架,通过外骨骼式机器人系统改进制造流程。该框架提供了一种高效方法,使机器人系统能够从协作机器人及操作员的虚拟表征中学习知识和技能。在实际HRC环境中,操作员佩戴VR设备和外骨骼机器人,与数字孪生中的虚拟机器人协同工作;同时,真实机器人执行指定任务并将传感器信息传输至虚拟表征。Wang等人开发了一种DL增强的数字孪生框架,以提升HRC的安全性和可靠性。该框架通过精确检测和分类人机动作实现智能决策。在实际实验中,机器人系统通过虚拟数字孪生获取的信息训练碰撞检测能力,从而规避对操作员的潜在危险。Choi等人开发了一种集成MR的HRC系统,实现了基于三维偏移量的快速精准安全距离计算。其测试中通过RDT和人体骨骼数据而非三维点云数据测量安全距离。此外,Kim等人提出了一种基于数字孪生技术的虚拟环境协作机器人训练方法,利用合成数据和点云框架解决实际训练中的时间与成本限制问题。最后,Malik和Brem通过开发数字孪生驱动的虚拟对应体验证和控制物理HRC系统的全生命周期,探索了数字孪生技术在装配流程中增强HRC的潜力,并讨论了该方法的构建模块和优势。
表4 近期HRC中RDTs研究汇总
 
4.png
如表4所示,Tecnomatix Process Simulate等平台侧重任务分配与路径优化,而Unreal Engine 4则用于安全决策与任务执行。RoboDK结合机器学习工具包,聚焦基于强化学习的物体检测与动作优化。物理组件包括Universal Robots和Doosan机械臂,配备Azure Kinect深度传感器、RGB-D传感器和3D相机等先进数据采集系统。这些系统实现了精确的力测量、接近感知和关节值监测,增强了HRC场景中的实时任务执行与安全性。
 
4 具身AI的关键技术

具身AI使智能代理能够在真实环境中感知、行动和学习。具身AI系统的成功部署依赖于感知、交互、学习和运动控制等多项关键技术。尽管这些技术已显著推动了具身智能的发展,但仍面临显著局限性,如仿真到现实差距、传感器误差以及实时适应性挑战。本节全面综述当前具身AI技术的优势与缺陷,识别阻碍其实际应用的关键缺口。第5节将探讨DTs如何通过提供实时虚拟环境、提升数据保真度及改善系统适应性,解决上述限制,从而实现鲁棒且可扩展的具身AI应用。

4.1. 感知与传感
感知与传感是具身AI的基础,是代理理解与解析工作环境的前提条件。具身AI系统通常采用摄像头、LiDAR、声呐和触觉传感器等多模态传感器,以捕捉多样化数据流。通过整合多模态传感器信息,具身AI代理可构建环境的全面表征,从而提供精准的决策与行动,如图2所示。
 
44a0c82c-53ce-49a3-b3a9-0f41bafe241e.jpg
图2. 具身感知的示例。(A)感知的第一视角与机器人鸟瞰视角示例[92];(B)可同时采集图像和语音信息的TurtleBot平台[93];(C)用于语言驱动型三维场景整体理解能力基准测试的EmbodiedScan数据集[94]。
在深度感知与环境理解领域,He等人提出一种时序感知对比预训练方法,旨在增强动态物理环境中的深度感知能力[95]。该方法利用帧间的时序相似性生成鲁棒的深度表征,使智能体能够在多种场景中更好地理解并交互周围环境。然而,这种预训练方法对计算资源的需求较高,尤其是在使用UniRGBD等大规模数据集时,可能限制其在资源受限场景中的适用性。同样,Jing和Kong提出了面向具身感知的动态探索策略,引导智能体在新环境中高效采集训练样本[96]。尽管该方法有效,但其更新三维语义分布图的计算成本较高,且依赖深度传感器,在深度数据质量较差或表面复杂的环境中可能影响性能表现。
在通信与可解释性方面,Patel等人探讨了具身智能体之间的通信可解释性及其对周围物理空间的感知关联性[97]。他们开发了与智能体感知紧密关联的通信策略,提升了环境理解能力。然而,这种非结构化通信方式虽然灵活,却常导致通信效率降低且难以解读,从而影响整体性能。研究揭示了结构化通信与理想状态之间存在差距,表明复杂现实任务的通信策略仍有优化空间。在目标检测与预测领域,Peri等人通过提出FutureDet方法解决了传统研究中孤立处理检测与预测的问题,该方法基于激光雷达数据将轨迹预测重构为未来目标检测问题[98]。虽然该方法对线性和静止目标处理有效,但在非线性轨迹场景中存在局限性,可能导致恒定速度场景的过拟合。这一缺陷表明需要进一步改进以增强对动态和不可预测环境的适应能力。Guo等人则提出基于主动感知和RGB-D传感器的语义关联模型的目标驱动导航策略,在动态环境中实现了更优的导航成功率和效率[92]。
在多模态感知与仿真方面,Gao等人开发了Sonicverse平台,使智能体在模拟环境中能通过视觉与听觉共同感知周围环境[93]。尽管潜力巨大,但该平台实时渲染高保真音视频所需的高强度计算资源可能限制部分应用的可行性。此外,平台在静态环境中表现优异,但动态变化场景(如移动物体与变化声源的复杂交互)仍面临挑战。Wang等人提出的EmbodiedScan数据集作为补充,这是一个整合视觉、深度和语言数据的综合性多模态三维感知数据集,推动了三维场景的整体理解[94]。尽管该数据集提升了具身智能体对复杂室内环境的解析与交互能力,但多源数据流的处理与整合在计算上的复杂性仍是实时应用的一大挑战。
4.2 运动规划与控制
运动规划与控制是具身智能的核心组成部分,使机器人系统能够高效地导航并与环境交互。这一过程主要分为分层规划与优化规划、形态学控制、以及基于视觉或Transformer的规划方法,如图3所示。
 
98b1e395-fd25-4b0b-8191-249334a609e7.jpg
图3. 具身规划与控制的示例。(A)安全避障具身导航;(B)仿生机器人控制器的双机器人系统具身运动控制;(C)响应操作员请求的运动规划示例;(D)技能Transformer是一种统一的策略模型,可直接将视觉观测映射为动作,通过推断所需技能并执行精确控制动作,使机器人能够自主完成移动操作等复杂多步骤任务。
通过分层结构和优化技术实现有效的运动规划与控制。这些方法通常将复杂任务分解为可管理的子任务,或优化特定标准以确保导航效率和环境交互性能。Gan等人提出了一种利用RGB-D传感器的分层规划与控制方法,用于动态环境中的任务和运动规划。尽管ThreeDWorld提供了高保真物理环境,但该论文未解决计算资源和实时性能相关的限制,这可能影响其在大规模应用中的可行性。此外,实验也未充分探索环境物理属性(如摩擦力和重力)的多样性及其对任务性能的潜在影响。Li等人提出了基于车辆运动学和几何特性的优化轨迹规划方法。该模型在时间最优性和安全性之间取得良好平衡,瓶颈区域离散点分布更密集。然而,仿真主要聚焦于简单静态障碍环境,未考虑动态障碍或更大规模的复杂现实交通场景(如城市驾驶)。此外,虽然进行了实地测试,但测试规模较小(1.75米×1.20米室内环境),其对大规模现实车辆的适用性尚未验证。
部分研究者将控制机制直接嵌入机器人的物理设计或形态中。形态控制方法通过机器人结构最小化计算需求并增强任务性能,但可能面临适应性和传感器精度的局限性。Pervan和Murphey提出了一种新颖的算法设计方法,将任务信息从集中控制转移到机器人物理结构中,通过物理形态实现任务具身化。然而,该研究未涉及动态障碍或复杂外部环境,可能限制其适用性。此外,仿真环境过于理想化,该方法在真实物理系统中的鲁棒性验证不足。Gan等人探索了一种基于形态的仿生机器人控制器方法,整合视觉与运动规划,在双机器人协作中展现出潜力。尽管提出了动态环境解决方案,但实验设置相对理想化,未充分验证其在更复杂和不可预测场景中的性能。此外,对动态障碍和多智能体交互的详细分析与测试仍显不足。
基于视觉的感知和先进机器学习技术(如Transformer)也被用于复杂环境下的鲁棒运动规划与控制。这些方法旨在提升机器人理解和应对动态不确定环境的能力。Behrens等人开发了一个融合视觉场景理解与动作规划的具身推理系统,在动态环境中取得显著成效,但复杂现实应用仍需进一步优化。Huang等人提出的技能Transformer是一种基于Transformer的策略模型,整合视觉与本体感知输入,在长周期任务中表现优异,但面临计算效率的挑战。该模型以编码时序观测的token序列为输入,每个token由视觉观测(仅深度信息)、非视觉观测(关节角度和末端执行器抓取状态)及位置嵌入组成。技能推断模块随后使用因果Transformer处理token,通过因果掩码输出代表预测技能的one-hot技能向量。最后一步中,动作推断模块利用推断出的技能、观测数据和历史动作信息,确定机器人将执行的底层动作。
4.3 学习与推理
学习与适应是智能具身AI代理发展的核心,使其能够通过经验优化行为,并适应新任务、新环境和新情境(如图4所示)。
 
22cb0975-2122-4f61-a037-e37c1b30e454.jpg
图4. 具身学习与推理示例。(A)基于大语言模型(LLM)在未知环境中导航并检测物体的案例[105];(B)机器人在环境中移动时可学习环境信息的iSEE框架[106];(C)基于知识图谱和预训练模型的先验知识进行推理并生成导航决策的案例[107]。LLM:大语言模型;iSEE:具身智能体可解释性系统。
强化学习已成为具身智能领域的重要工具。它允许智能体与物理或模拟环境交互,并逐步学会处理复杂条件和任务。该方法的关键优势在于其适应性和在线学习能力——通过尝试不同动作并观察结果,强化学习算法能根据变化持续优化策略。这种适应性在动态或不确定环境中尤为突出,因为预设规则往往难以应对。另一个显著优势是无需精确的环境或智能体动力学模型。许多现实系统(如涉及复杂接触力或多体交互的系统)难以用数学模型准确描述,而强化学习通过直接利用环境反馈改进行为,绕过了这一难题,从而适用于建模成本过高或不可行的场景。
赵等人提出了结合大语言模型、强化学习、深度和触觉传感器的具身表征与推理架构,以增强长视野操作任务能力[108]。尽管取得成功,但该系统受限于依赖模拟训练数据和硬件条件。刘等人则提出一种多智能体具身视觉语义导航的分层决策框架,结合强化学习、场景先验知识及RGB与深度传感器[109]。该框架提升了导航任务的协作效率,但也面临通信带宽限制和传感器精度的挑战。
然而,强化学习模型对其习得的概念、技能及其决策逻辑缺乏固有的可解释性。杜维迪等人研究了通过强化学习和监督学习训练的具身智能体内部表征中编码的环境信息[106],并提出可解释性框架分析智能体对障碍物位置、目标可见性和可达区域等信息的编码,这些信息支撑了有效移动和任务完成。此外,将强化学习应用于真实机器人任务的主要挑战之一是其样本效率低下。大多数算法需通过大量环境交互学习策略,这在真实机器人系统中可能成本高昂且存在风险。每次交互涉及物理运动都可能导致硬件磨损或安全隐患,例如训练中的小错误可能损坏部件或危及人员。为降低风险,研究人员通常先在模拟环境中训练智能体,但这种方法会导致"仿真到现实"的性能差异。即便最佳模拟环境也难以完全复现物理世界细节,如摩擦力微小差异、关节振动或意外传感器噪声,这些差异可能导致模拟中表现良好的策略在真实机器人上失效。
整合语言与视觉模型是另一研究重点,旨在提升环境交互能力。多尔巴拉等人开发了基于大语言模型和视觉-语言模型的语言引导探索方法,利用RGB和深度传感器实现了卓越的零样本物体导航性能[105]。然而该方法计算密集且高度依赖高质量传感器数据。同样,塞尔曼等人提出的RoboVQA框架利用视频条件对比描述技术,结合RGB和深度传感器实现机器人多模态长视野推理[110],虽显著提升任务执行效果,但也需要高计算资源和优质传感器数据。另一类方法聚焦3D数据在视觉学习和导航任务中的应用。赵等人基于真实3D点云数据提出3D发散策略,有效提升机器人在新环境中的主动视觉学习能力[111],但该方法面临传感器噪声处理和3D数据处理资源需求高的挑战。
最终,研究者探索跨模态推理与基于Transformer架构的融合以增强复杂环境适应性。跨模态推理指AI系统整合多种感官或数据模态(如视觉、语言、音频和触觉输入)进行综合推理的能力。高等人提出的跨模态知识推理框架,结合Transformer架构、RGB传感器和物体检测器[107],有效提升了具身指代表达任务中的导航与物体定位能力,但受限于计算复杂度和对预训练模型的依赖。
4.4 交互与协作
交互与协作是具身AI系统有效运作的关键,特别是在需与人类、其他智能体或复杂系统协同的环境中。如图5所示,具身AI智能体被设计用于与环境交互、与其他智能体通信,并与人类协作实现共同目标。
 
03f53854-89fb-4c4b-ab57-5e49468353d6.jpg
图5. 具身学习与推理示例。(A)机器人学习中人机协作示范示例;(B)基于VR的交互影响用户体验、可用性与有效性的示例。在实时交互与感知整合领域,Sagar等人提出了BabyX平台,该平台通过视觉与触觉传感器实现虚拟婴儿模型的实时交互与事件处理。该平台实现了逼真的护理者-婴儿互动,展示了Embodied AI在模拟复杂类人交互中的潜力。然而,该平台在传感器灵敏度和动作执行复杂性方面面临挑战,可能影响动态场景下的整体性能。同样,Legrand等人开发了一种基于气压传感器动态调节关节刚度的可变刚度仿生手指。该创新实现了实时适应性与交互稳定性增强,但需要复杂的控制系统,且在快速力量转换过程中可能出现延迟,这对高速环境提出了挑战。
在认知建模与视角转换方面,Fischer与Demiris提出了一个视觉视角转换计算模型。该模型通过模拟视觉传感器与动作基元实现高效的认知建模与快速响应,适用于需要快速心理适应的任务。然而,其依赖于模拟环境与任务特定优化,限制了在更广泛现实场景中的适用性——在这些场景中,意外变量与更复杂的上下文可能产生影响。在人机协同学习与模拟领域,Long等人提出了面向手术机器人学习的交互式模拟平台。该平台通过触觉设备与视觉传感器,将人类输入直接整合到学习过程中,利用具身智能提升学习效率。该平台实现了逼真交互并改善了手术机器人训练,但面临模拟复杂性与对专家示范的高度依赖,这可能限制其可扩展性与广泛应用。
在虚拟现实接口与交互领域,Hashemian等人开发了基于头部运动传感器的倾斜交互界面,以提升头戴显示器中的虚拟现实移动与物体交互。这些界面通过增强空间存在感与多任务性能提供更沉浸的体验,但相比实际行走其精度较低,且对用户身体负担更高,可能影响长时间使用的舒适性与可用性。

 

5 数字孪生与具身智能协同展望

 

DTs与具身智能的交叉为动态与不确定环境下的智能系统优化提供了前所未有的机遇。数字孪生通过创建物理世界的高保真实时虚拟表征,而具身智能则利用虚拟空间进行感知、学习与交互。这种协同使具身智能体能在真实环境的数字副本中训练,从而降低训练成本、减少安全风险并提升实时适应性。本节探讨两者的协同新视角,以预见基于数字孪生的具身智能系统的未来发展方向。
5.1 基于数字孪生虚拟空间的具身智能训练
数字孪生技术通过构建实时虚拟环境发挥核心作用。如表2-4所示,数字孪生旨在实时镜像物理系统。这种实时同步为具身智能训练带来显著优势,支持复杂环境中的高效学习、感知与决策。数字孪生通过深度相机、RGB-D传感器与力-扭矩传感器等持续采集物理系统数据,并将实时数据映射至虚拟空间以确保物理状态的实时反映。实时反馈对具身智能至关重要,因其允许AI模型根据环境变化调整决策。
相比传统模拟,数字孪生与物理系统保持持续实时连接。尽管传统模拟常创建近似现实条件的孤立虚拟模型,数字孪生则实现与真实物理环境的无缝同步。这种紧密耦合使具身智能体能在更贴近现实的虚拟空间中运行,从而基于实时物理数据优化决策过程,显著缩小仿真到现实的差距。此外,数字孪生强调动态实时交互能力,与物理系统持续联动:虚拟模型通过物理数据持续更新,而虚拟环境中的决策可直接影响物理系统。最终,数字孪生基于物理系统的真实传感器数据(如力测量值、温度读数或位置数据)提供更真实精确的训练环境。传统模拟依赖预定义模型,可能无法完全捕捉现实场景的复杂性与变异性,而数字孪生通过注入真实世界数据,确保具身智能在训练中接触更准确且多样的条件。这种数据驱动方法使具身智能能更好预判并应对现实世界的不可预测性与动态特性。表5总结了传统模拟与数字孪生的对比。数字孪生通过模拟复杂环境提升AI训练的场景多样性与现实适应能力。
表5 传统模拟与数字孪生对比
 
5.png
然而,将DTs作为虚拟训练环境也面临一些挑战,例如数据延迟和过度的数据传输需求。为解决这些问题,可以采用以下实用解决方案和技术:
(1) 数据压缩与优化 :应用数据压缩技术可在保留关键信息的同时减少数据传输量。具体方法包括通过PCA实现降维以缩减数据规模,利用自编码器等基于神经网络的压缩技术提取紧凑数据表示,以及采用高效格式进行视频或图像压缩;
(2) 去中心化架构 :通过多节点分布式数据处理和存储,可有效避免集中式系统的瓶颈问题。例如,使用 Apache Kafka实现实时数据流传输及分布式节点间通信,并采用 MongoDB 或 Cassandra 等分布式数据库保障可扩展且高效的数据存储;
(3) 混合云与多云架构 :采用混合云与多云架构可灵活管理数据处理与存储,提升系统弹性。多云架构允许企业将工作负载分散至不同云服务商,降低对单一平台的依赖,同时增强系统韧性。通过 Kubernetes 等容器编排工具实现跨云环境无缝集成,并借助 AWS DataSync 或 Google Transfer Appliance 等数据传输优化工具加速数据迁移;
(4) 5G/6G通信网络 :采用5G及新兴的6G网络技术可提供高带宽、低延迟的通信能力,支持实时数据传输并减少关键操作中的延迟。这些网络特别适用于支持大规模物联网部署及动态环境中的高速数据交换。
5.2 与人类数字孪生结合的具身AI
如第3.3节和4.4节所述,DTs与具身AI在HRC中已广泛应用。然而,仅有少数研究关注人类因素,或仅将人类视为简单障碍物。如果人类行为和状态变得更加可预测,机器人便能为操作人员提供更高效的策略,并基于数据生成决策以辅助人类操作。然而,在HRC中对人类状态与行为的建模与仿真仍存在困难:
首先,与机器人系统相比,人类建模需要更大的数据集,涵盖更复杂的几何构型、生物信号采集以及个体间的显著差异;
其次,由于人类行为具有动态性和不可预测性,其建模对实时性要求更高。这涉及处理来自多传感器的连续数据流,以精准追踪和响应人类动作及状态;
此外,人类表现和行为还会受到主观因素影响,例如心理压力和疲劳程度,这会显著改变其生理和认知功能。
HDTs的发展前景广阔,尤其在提升HRC方面具有潜力。HDTs在增强具身智能体与人类的交互能力上表现出重要价值。尽管对HDTs的定义尚存争议,但普遍认为其目标是收集全面信息以构建虚拟数字人类。如图6所示,HDTs通过采集人类的生理与心理数据,使AI在虚拟培训中能够实时调整自身行为。与将人类视为简单代理的传统方式不同,HDTs使AI能够识别并适应人类的生理与心理状态(如疲劳、压力或运动模式)。这种自适应能力对构建以人类为中心的系统至关重要——AI可更智能、更灵敏地响应人类需求与状态。
 
2565073a-c1fe-4b5c-9af6-c58d74750ebc.jpg
图6. 常见的信息收集类型包括:(A) 生理数据,指反映人体功能和生理过程的生物学信息,例如心率、血压、体温、呼吸频率和心电图(ECG)读数;(B) 心理数据,指与个体情绪状态相关的信息,涵盖心理健康、情绪和心理幸福感等方面;(C) 能力数据,指反映个体能力的信息,体现人执行特定功能的水平,包括运动技能等身体能力和问题解决能力等认知能力;(D) 认知数据,指与个体获取知识、解决问题、记忆、注意力和决策过程相关的推理活动信息;以及(E) 行为数据,指捕捉个体在特定环境或刺激下身体动作、行为或行动的信息。
此外,HDTs在人机交互领域具有广泛的应用潜力。它们可支持在人机交互过程中对人体状态的实时监测。通过人工智能技术,机器人系统可同步追踪三维姿态、动作意图和人因工程风险,相较于传统方法提供更全面的人类操作员视角。除了身体信息外,HDTs还能在人机协作装配过程中持续监测人类疲劳状态。它们可评估工作人员在执行任务过程中的实时疲劳程度,并重新分配人机任务以减轻生理疲劳,从而优化制造业中的人机协作效率。此外,在训练机器人实时与人类交互时可能存在固有风险,尤其是在需要快速响应的场景中(如紧急干预或协作任务)。通过在虚拟空间中模拟人类反应和状态,HDTs可让机器人学习而不会直接威胁人类安全。这种方法确保机器人能在训练过程中发展必要的技能和反应时间,同时避免造成物理伤害的风险。
HDTs在Embodied AI的实际应用前景广阔。通过整合人体生理和心理状态的实时数据,HDTs可使具身智能体在动态和以人为本的环境中更高效工作。例如,在医疗领域,HDTs可模拟患者状态,使具身智能体提供个性化护理服务,如监测疲劳或压力水平并调整行动以满足个体需求;在制造业中,HDTs可通过分析操作员动作提出优化工作流程的建议,以减少劳损或预防伤害;在自主系统领域,HDTs可创建逼真的人类行为模拟,使具身智能体在紧急疏散或协作任务中更智能地预测和响应人类行为。这些进展可推动人类与具身智能体之间更安全高效的交互,支持需要无缝自适应协作的多个行业。
然而,构建HDTs面临高度挑战,尤其是在大规模实施中需考虑人类行为与环境交互的复杂性。为实现这一目标并确保实时适应性,可应用以下技术:(1) 多模态数据采集与融合:使用生物传感器(如脑电图[EEG]、心电图[ECG])、环境传感器(如温湿度传感器、气体传感器)和视觉传感器(如RGB摄像头、深度传感器),并通过卡尔曼滤波、贝叶斯网络或深度学习等数据融合方法整合多源数据,以全面准确地表征人与环境状态;(2) 实时数据处理:采用NVIDIA Jetson或Intel Movidius等边缘计算设备进行本地化数据处理以降低延迟,结合Apache Kafka或Apache Flink等实时数据流框架确保对环境动态变化的快速响应;(3) 动态建模与学习:使用GNNs或RNNs等动态神经网络建模复杂环境关系,结合强化学习算法优化自适应性和决策能力;(4) 数字孪生仿真平台:利用NVIDIA Isaac Sim、Unity或Gazebo等工具创建逼真的虚拟环境,并通过Python或MATLAB集成数据驱动模型以实时更新仿真输入。这些技术共同作用,使HDT系统能在复杂动态环境中有效运行,同时确保可靠性、可扩展性和伦理合规性。
5.3 大规模虚拟环境中的具身智能
目前,大多数具身智能系统受限于小型室内环境,因为扩展至城市等更复杂场景需耗费巨大的时间与经济成本。EDTs的发展前景尤其体现在推动人工智能应用突破封闭室内环境的局限。EDTs专注于创建环境(如城市区域)的数字化表征,提供复杂场景的全面动态虚拟模型,如图7所示。
 
146989e2-7327-4053-b9f1-77d9b9670420.jpg
图7. EDTs示例。DTs技术在城市和农业领域均具有显著优势,它支持数据驱动的实时模拟,不仅优化了资源分配,还减少了环境风险,为城市和农业系统的可持续发展做出贡献。EDTs:环境数字孪生;DTs:数字孪生。
UDTs正越来越多地应用于智慧城市领域,创建高度详细的虚拟城市模型。UDTs能复制城市的多个方面,例如基础设施、交通模式,甚至空气质量、能源消耗等环境因素。对于Embodied AI,UDTs为自动驾驶、公共安全监控和交通管理等任务的人工智能系统训练提供了可控且广阔的空间。通过让具身智能体在复杂的城市环境中导航和交互,UDTs可大规模训练具身AI模型,使其适应真实世界的操作条件。此外,在虚拟智慧城市环境中训练人工智能可显著降低实际实验的成本和风险。由于这些DTs提供高精度模拟,人工智能可学习应对交通事故、公共突发事件或城市规划场景,而不会对物理环境或人类用户造成损害。
农业领域的DTs正在变革现代农业产业。它们能创建农田、作物和农业机械的虚拟表征。对于未来涉及精准农业的具身智能系统(如自动驾驶拖拉机、无人机或采摘机器人),DTs提供了安全且低成本的大规模训练环境。这些虚拟环境使具身AI能够学习土壤监测、作物管理及资源优化等任务,同时避免损坏昂贵设备或破坏环境的风险。使用DTs可减少对昂贵实际试验的需求,因为具身AI系统可在部署至实际农田之前完成虚拟训练。此外,DTs通过模拟多种环境条件(如不同天气模式或土壤类型),支持持续优化,帮助AI适应广泛的农业场景。

 

6 结论

 

本文全面综述了DTs与具身智能,包括其基础原理、与物理系统实时同步的能力及其在自动化、HRC和大规模环境中的应用。此外,本文提出了DTs与具身智能未来融合发展的新视角。两者的结合为提升人工智能在各领域的能力提供了变革路径。DTs通过提供高精度、实时的物理系统虚拟副本,使AI能够在高度贴近现实的环境中进行训练、适应和执行任务。这种协同作用显著提升了AI的决策能力、感知能力和适应能力,无论是在以人为中心的应用、大规模城市或农业环境,还是实时工业场景中均表现突出。通过物理系统与虚拟系统的持续同步,DTs缩小了"仿真到现实差距",为AI开发提供了更动态、交互性强且成本效益更高的解决方案。DTs与具身智能的结合为更安全、高效和可扩展的智能系统铺平了道路。
未来研究应关注利用DTs开发训练和学习算法以优化系统及应用。尽管当前DTs研究主要聚焦模拟层面,但往往忽视了其提升系统级和应用特异性性能的关键潜力。这一领域需将DTs的实时数据洞察整合到学习过程中。另一个关键方向是解决大规模应用中DTs的数据精度、实时响应性和高计算需求等局限性。这些挑战虽常被低估,却显著影响DTs在实际场景中的可扩展性和有效性。研究应聚焦于提升数据保真度、优化计算效率以及增强DTs在复杂环境中的实时能力。
 

 

 

REFERENCES

 

1. Gupta, A.; Savarese, S.; Ganguli, S.; Fei-Fei, L. Embodied intelligence via learning and evolution. Nat. Commun.202112, 5721.
2. Nygaard, T. F.; Martin, C. P.; Torresen, J.; Glette, K.; Howard, D. Real-world embodied AI through a morphologically adaptive quadruped robot. Nat. Mach. Intell.20213, 410-9.
3. Li, C.; Zhang, R.; Wong, J.; et al. BEHAVIOR-1K: a benchmark for embodied AI with 1, 000 everyday activities and realistic simulation. In: Proceedings of The 6th Conference on Robot Learning, PMLR; 2023. pp. 80–93. https://proceedings.mlr.press/v205/li23a.html. (accessed 2025-02-28).
4. Driess, D.; Xia, F.; Sajjadi, M. S.; et al. PaLM-E: an embodied multimodal language model. arXiv2023, arXiv: 2303.03378. Available online: https://doi.org/10.48550/arXiv.2303.03378. (accessed on 28 Feb 2025).
5. Duan, J.; Yu, S.; Tan, H. L.; Zhu, H.; Tan, C. A survey of embodied AI: from simulators to research tasks. IEEE. Trans. Emerg. Top. Comput. Intell.20226, 230-44.
6. Kolve, E.; Mottaghi, R.; Han, W.; et al. AI2-THOR: an interactive 3D environment for visual AI. arXiv2017, arXiv: 1712.05474. Available online: https://doi.org/10.48550/arXiv.1712.05474. (accessed on 28 Feb 2025).
7. Shen, B.; Xia, F.; Li, C.; et al. iGibson 1.0: a simulation environment for interactive tasks in large realistic scenes. In: 2021 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Prague, Czech Republic, 27 Sep - 01 Oct, 2021. IEEE, 2021; pp. 7520–7.
8. Savva, M.; Kadian, A.; Maksymets, O.; et al. Habitat: a platform for embodied AI research. In: 2019 IEEE/CVF International Conference on Computer Vision (ICCV), Seoul, Korea, 27 Oct - 02 Nov, 2019. IEEE, 2019; pp. 9339–47.
9. Liu, Y.; Chen, W.; Bai, Y.; et al. Aligning cyber space with physical world: a comprehensive survey on Embodied AI. arXiv2024, arXiv: 2407.06886. Available online: https://doi.org/10.48550/arXiv.2407.06886. (accessed 28 Feb 2025).
10. Auerbach, J.; Aydin, D.; Maesani, A.; et al. RoboGen: robot generation through artificial evolution. In: ALIFE 14: The Fourteenth International Conference on the Synthesis and Simulation of Living Systems; 2014. pp. 136–7.
11. Yang, Y.; Sun, F. Y.; Weihs, L.; et al. Holodeck: Language guided generation of 3D Embodied AI environments. In: 2024 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Seattle, USA, 16-22 Jun, 2024. IEEE, 2024; pp. 16227–37.
12. Yang, Y.; Jia, B.; Zhi, P.; Huang, S. PhyScene: physically interactable 3D scene synthesis for Embodied AI. In: 2024 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Seattle, USA, 16-22 Jun, 2024. IEEE, 2024; pp. 16262–72.
13. Deitke, M.; VanderBilt, E.; Herrasti, A.; et al. ProcTHOR: large-scale Embodied AI using procedural generation. arXiv2022, arXiv: 2206.06994. Available online: https://doi.org/10.48550/arXiv.2206.06994. (accessed 28 Feb 2025).
14. Chang, A.; Dai, A.; Funkhouser, T.; et al. Matterport3D: learning from RGB-D data in indoor environments. arXiv2017, arXiv: 1709.06158. Available online: https://doi.org/10.48550/arXiv.1709.06158. (accessed 28 Feb 2025).
15. Wang, H.; Lv, L.; Li, X.; et al. A safety management approach for Industry 5.0' s human-centered manufacturing based on digital twin. J. Manuf. Syst.202366, 1-12.
16. Lu, Y.; Liu, C.; Wang, K. I. K.; Huang, H.; Xu, X. Digital twin-driven smart manufacturing: connotation, reference model, applications and research issues. Robot. Comput. Integr. Manuf.202061, 101837.
17. Kim, D.; Choi, M.; Um, J. Digital twin for autonomous collaborative robot by using synthetic data and reinforcement learning. Robot. Comput. Integr. Manuf.202485, 102632.
18. Lu, Y.; Zheng, H.; Chand, S.; et al. Outlook on human-centric manufacturing towards Industry 5.0. J. Manuf. Syst.202262, 612-27.
19. Mazumder, A.; Sahed, M. F.; Tasneem, Z.; et al. Towards next generation digital twin in robotics: trends, scopes, challenges, and future. Heliyon20239, e13359.
20. Zafar, M. H.; Langås, E. F.; Sanfilippo, F. Exploring the synergies between collaborative robotics, digital twins, augmentation, and industry 5.0 for smart manufacturing: a state-of-the-art review. Robot. Comput. Integr. Manuf.202489, 102769.
21. Allen, B. D. Digital twins and living models at NASA. In: Digital Twin Summit; 2021. https://ntrs.nasa.gov/citations/20210023699. (accessed 2025-02-28).
22. Jarvis, C. R. An overview of NASA's digital fly-by-wire technology development program. 1976. https://ntrs.nasa.gov/citations/19760024052. (accessed 2025-02-28).
23. Grieves, M. Digital twin: manufacturing excellence through virtual factory replication. https://www.3ds.com/fileadmin/PRODUCTS-SERVICES/DELMIA/PDF/Whitepaper/DELMIA-APRISO-Digital-Twin-Whitepaper.pdf. (accessed 2025-02-28).
24. Jacoby, M.; Usländer, T. Digital twin and internet of things - current standards landscape. Appl. Sci.202010, 6519.
25. Suhail, S.; Hussain, R.; Jurdak, R.; Hong, C. S. Trustworthy digital twins in the industrial internet of things with blockchain. IEEE. Int. Comput.202126, 58-67.
26. De Benedictis, A.; Flammini, F.; Mazzocca, N.; Somma, A.; Vitale, F. Digital twins for anomaly detection in the industrial Internet of Things: conceptual architecture and proof-of-concept. IEEE. Trans. Ind. Inform.202319, 11553-63.
27. Leng, J.; Wang, D.; Shen, W.; Li, X.; Liu, Q.; Chen, X. Digital twins-based smart manufacturing system design in Industry 4.0: a review. J. Manuf. Syst.202160, 119-37.
28. Stavropoulos, P.; Mourtzis, D. Chapter 10 - Digital twins in Industry 4.0. In: Design and operation of production networks for mass personalization in the era of cloud technology. Elsevier; 2022. pp. 277–316.
29. Sharma, A.; Kosasih, E.; Zhang, J.; Brintrup, A.; Calinescu, A. Digital twins: state of the art theory and practice, challenges, and open research questions. J. Ind. Inf. Integr.202230, 100383.
30. Glaessgen, E.; Stargel, D. The digital twin paradigm for future NASA and U.S. Air Force vehicles. In: 53rd AIAA/ASME/ASCE/AHS/ASC structures, structural dynamics and materials conference 20th AIAA/ASME/AHS adaptive structures conference 14th AIAA; 2012. pp. 1818.
31. Huang, Y.; Zhang, J.; Chen, X.; Lam, A. H. F, Chen, B. M. From simulation to prediction: enhancing digital twins with advanced generative AI technologies. In: 2024 IEEE 18th International Conference on Control & Automation (ICCA), Reykjavik, Iceland, 18-21 Jun, 2024. IEEE, 2024; pp. 490–5.
32. Rodrigo, M. S.; Rivera, D.; Moreno, J. I.; Àlvarez-Campana, M.; López, D. R. Digital twins for 5G networks: a modeling and deployment methodology. IEEE. Access.202311, 38112-26.
33. Hasan, H. R.; Salah, K.; Jayaraman, R.; et al. A blockchain-based approach for the creation of digital twins. IEEE. Access.20208, 34113-26.
34. Feng, K.; Borghesani, P.; Smith, W. A.; et al. Vibration-based updating of wear prediction for spur gears. Wear2019426, 1410-5.
35. Feng, K.; Ji, J. C.; Zhang, Y.; Ni, Q.; Liu, Z.; Beer, M. Digital twin-driven intelligent assessment of gear surface degradation. Mech. Syst. Signal. Process.2023186, 109896.
36. Zhang, Y.; Ji, J.; Ren, Z.; et al. Digital twin-driven partial domain adaptation network for intelligent fault diagnosis of rolling bearing. Reliab. Eng. Syst. Saf.2023234, 109186.
37. Feng, K.; Xu, Y.; Wang, Y.; et al. Digital twin enabled domain adversarial graph networks for bearing fault diagnosis. IEEE. Trans. Ind. Cyber. Phys. Syst.20231, 113-22.
38. Kamel Boulos, M. N.; Zhang, P. Digital twins: from personalised medicine to precision public health. J. Pers. Med.202111, 745.
39. Alazab, M.; Khan, L. U.; Koppu, S.; et al. Digital twins for healthcare 4.0 - recent advances, architecture, and open challenges. IEEE. Consum. Electron. Mag.202212, 29-37.
40. Pylianidis, C.; Osinga, S.; Athanasiadis, I. N. Introducing digital twins to agriculture. Comput. Electron. Agric.2021184, 105942.
41. Purcell, W.; Neubauer, T. Digital twins in agriculture: a state-of-the-art review. Smart. Agric. Technol.20233, 100094.
42. Wang, Z.; Lv, C.; Wang, F. Y. A new era of intelligent vehicles and intelligent transportation systems: digital twins and parallel intelligence. IEEE. Trans. Intell. Veh.20238, 2619-27.
43. Hu, X.; Li, S.; Huang, T.; Tang, B.; Huai, R.; Chen, L. How simulation helps autonomous driving: a survey of sim2real, digital twins, and parallel intelligence. IEEE. Trans. Intell. Veh.20249, 593-612.
44. Arraño-Vargas, F.; Konstantinou, G. Modular design and real-time simulators toward power system digital twins implementation. IEEE. Trans. Ind. Inform.202219, 52-61.
45. Lv, Z.; Guo, J.; Lv, H. Safety poka yoke in zero-defect manufacturing based on digital twins. IEEE. Trans. Ind. Inform.202219, 1176-84.
46. Mo, F.; Rehman, H. U.; Monetti, F. M.; et al. A framework for manufacturing system reconfiguration and optimisation utilising digital twins and modular artificial intelligence. Robot. Comput. Integr. Manuf.202382, 102524.
47. Kapteyn, M. G.; Knezevic, D. J.; Huynh, D. B. P.; Tran, M.; Willcox, K. E. Data-driven physics-based digital twins via a library of component-based reduced-order models. Int. J. Numer. Method. Eng.2022123, 2986-3003.
48. Lv, Z.; Chen, D.; Feng, H.; Zhu, H.; Lv, H. Digital twins in unmanned aerial vehicles for rapid medical resource delivery in epidemics. IEEE. Trans. Intell. Transp. Syst.202123, 25106-14.
49. Li, X.; Liu, H.; Wang, W.; Zheng, Y.; Lv, H.; Lv, Z. Big data analysis of the Internet of Things in the digital twins of smart city based on deep learning. Future. Gener. Comput. Syst.2022128, 167-77.
50. Lv, Z.; Li, Y.; Feng, H.; Lv, H. Deep learning for security in digital twins of cooperative intelligent transportation systems. IEEE. Trans. Intell. Transp. Syst.202123, 16666-75.
51. Wan, Z.; Dong, Y.; Yu, Z.; Lv, H.; Lv, Z. Semi-supervised support vector machine for digital twins based brain image fusion. Front. Neurosci.202115, 705323.
52. Darvishi, H.; Ciuonzo, D.; Eide, E. R.; Rossi, P. S. Sensor-fault detection, isolation and accommodation for digital twins via modular data-driven architecture. IEEE. Sensors. J.202021, 4827-38.
53. Malik, A. A.; Brem, A. Digital twins for collaborative robots: a case study in human-robot interaction. Robot. Comput. Integr. Manuf.202168, 102092.
54. Dembski, F.; Wössner, U.; Letzgus, M.; Ruddat, M.; Yamu, C. Urban digital twins for smart cities and citizens: the case study of Herrenberg, Germany. Sustainability202012, 2307.
55. Wu, B.; Widanage, W. D.; Yang, S.; Liu, X. Battery digital twins: perspectives on the fusion of models, data and artificial intelligence for smart battery management systems. Energy. AI.20201, 100016.
56. Keshvarparast, A.; Battini, D.; Battaia, O.; Pirayesh, A. Collaborative robots in manufacturing and assembly systems: literature review and future research agenda. J. Intell. Manuf.202435, 2065-118.
57. Simões, A. C.; Pinto, A.; Santos, J.; Pinheiro, S.; Romero, D. Designing human-robot collaboration (HRC) workspaces in industrial settings: a systematic literature review. J. Manuf. Syst.202262, 28-43.
58. Burghardt, A.; Szybicki, D.; Gierlak, P.; Kurc, K.; Pietruś, P.; Cygan, R. Programming of industrial robots using virtual reality and digital twins. Appl. Sci.202010, 486.
59. Kuts, V.; Otto, T.; Tähemaa, T.; Bondarenko, Y. Digital twin based synchronised control and simulation of the industrial robotic cell using virtual reality. J. Mach. Eng.201919, 128-45.
60. Sun, F.; Liu, N.; Wang, X.; et al. Digital-twin-assisted skill learning for 3C assembly tasks. IEEE. Trans. Cybern.2024. DOI: 10.1109/TCYB.2024.3368148.
61. Xu, W.; Yang, H.; Ji, Z.; Ba, M. Cognitive digital twin-enabled multi-robot collaborative manufacturing: framework and approaches. Comput. Ind. Eng.2024194, 110418.
62. Liu, Y.; Wang, X.; Yang, K.; Pan, Y.; Wang, Q. Architecture and implementation of high-fidelity digital twins for industrial robots. In: 2023 International Conference on Frontiers of Robotics and Software Engineering (FRSE); IEEE, 2023; pp. 207–14.
63. Li, J.; Liu, M.; Wang, W.; Hu, C. Inspection robot based on offline digital twin synchronization architecture. IEEE. J. Radio. Freq. Identif.20226, 943-47.
64. Liang, C. J.; McGee, W.; Menassa, C. C.; Kamat, V. R. Real-time state synchronization between physical construction robots and process-level digital twins. Constr. Robot.20226, 57-73.
65. Zhang, Z.; Dershan, R.; Enayati, A. M. S.; et al. A high-fidelity simulation platform for industrial manufacturing by incorporating robotic dynamics into an industrial simulation tool. IEEE. Robot. Autom. Lett.20227, 9123-8.
66. Liu, Y.; Xu, H.; Liu, D.; Wang, L. A digital twin-based sim-to-real transfer for deep reinforcement learning-enabled industrial robot grasping. Robot. Comput. Integr. Manuf.202278, 102365.
67. Mo, Y.; Ma, S.; Gong, H.; Chen, Z.; Zhang, J.; Tao, D. Terra: A smart and sensible digital twin framework for robust robot deployment in challenging environments. IEEE. Internet. of. Things. J.20218, 14039-50.
68. Cascone, L.; Nappi, M.; Narducci, F.; Passero, I. DTPAAL: digital twinning pepper and ambient assisted living. IEEE. Trans. Ind. Inform.202118, 1397-404.
69. Xu, W.; Cui, J.; Li, L.; Yao, B.; Tian, S.; Zhou, Z. Digital twin-based industrial cloud robotics: framework, control approach and implementation. J. Manuf. Syst.202158, 196-209.
70. Kaigom, E. G.; Roßmann, J. Value-driven robotic digital twins in cyber - physical applications. IEEE. Trans. Ind. Inform.202017, 3609-19.
71. Petersen, K.; Nagpal, R.; Werfel, J. TERMES: an autonomous robotic system for three-dimensional collective construction. In: Robotics: science and systems. Los Angeles, CA, USA; 2011. pp. 257–64.
72. Zhang, X.; Zheng, L.; Fan, W.; Ji, W.; Mao, L.; Wang, L. Knowledge graph and function block based Digital Twin modeling for robotic machining of large-scale components. Robot. Comput. Integr. Manuf.202485, 102609.
73. Zhang, X.; Wu, B.; Zhang, X.; Duan, J.; Wan, C.; Hu, Y. An effective MBSE approach for constructing industrial robot digital twin system. Robot. Comput. Integr. Manuf.202380, 102455.
74. Chen, L.; Bi, G.; Yao, X.; et al. Multisensor fusion-based digital twin for localized quality prediction in robotic laser-directed energy deposition. Robot. Comput. Integr. Manuf.202384, 102581.
75. Li, X.; Liu, G.; Sun, S.; Yi, W.; Li, B. Digital twin model-based smart assembly strategy design and precision evaluation for PCB kit-box build. J. Manuf. Syst.202371, 206-23.
76. Liu, J.; Xu, Z.; Xiong, H.; Lin, Q.; Xu, W.; Zhou, Z. Digital twin-driven robotic disassembly sequence dynamic planning under uncertain missing condition. IEEE. Trans. Ind. Inform.202319, 11846-55.
77. Wenna, W.; Weili, D.; Changchun, H.; Heng, Z.; Haibing, F.; Yao, Y. A digital twin for 3D path planning of large-span curved-arm gantry robot. Robot. Comput. Integr. Manuf.202276, 102330.
78. Hu, W.; Wang, C.; Liu, F.; Peng, X.; Sun, P.; Tan, J. A grasps-generation-and-selection convolutional neural network for a digital twin of intelligent robotic grasping. Robot. Comput. Integr. Manuf.202277, 102371.
79. Tipary, B.; Erdős, G. Generic development methodology for flexible robotic pick-and-place workcells based on Digital Twin. Robot. Comput. Integr. Manuf.202171, 102140.
80. Weiss, A.; Wortmeier, A. K.; Kubicek, B. Cobots in industry 4.0: a roadmap for future practice studies on human - robot collaboration. IEEE. Trans. Hum. Mach. Syst.202151, 335-45.
81. Djuric, A. M.; Urbanic, R. J.; Rickli, J. L. A framework for collaborative robot (CoBot) integration in advanced manufacturing systems. SAE. Int. J. Mater. Manuf.20169, 457-64.
82. Javaid, M.; Haleem, A.; Singh, R. P.; Rab, S.; Suman, R. Significant applications of Cobots in the field of manufacturing. Cogn. Robot.20222, 222-33.
83. Pauliková, A.; Gyurák Babel'ová, Z.; Ubárová, M. Analysis of the impact of human-cobot collaborative manufacturing implementation on the occupational health and safety and the quality requirements. Int. J. Environ. Res. Public. Health.202118, 1927.
84. Lu, Y.; Adrados, J. S.; Chand, S. S.; Wang, L. Humans are not machines - anthropocentric human-machine symbiosis for ultra-flexible smart manufacturing. Engineering20217, 734-37.
85. Mark, B. G.; Rauch, E.; Matt, D. T. Worker assistance systems in manufacturing: a review of the state of the art and future directions. J. Manuf. Syst.202159, 228-50.
86. Leng, J.; Sha, W.; Wang, B.; et al. Industry 5.0: prospect and retrospect. J. Manuf. Syst.202265, 279-95.
87. Huang, S.; Wang, B.; Li, X.; Zheng, P.; Mourtzis, D.; Wang, L. Industry 5.0 and Society 5.0 - Comparison, complementation and co-evolution. J. Manuf. Syst.202264, 424-8.
88. Sharma, M.; Sehrawat, R.; Luthra, S.; Daim, T.; Bakry, D. Moving towards industry 5.0 in the pharmaceutical manufacturing sector: challenges and solutions for Germany. IEEE. T. Eng. Manag.202271, 13757-74.
89. Park, H.; Shin, M.; Choi, G.; et al. Integration of an exoskeleton robotic system into a digital twin for industrial manufacturing applications. Robot. Comput. Integr. Manuf.202489, 102746.
90. Wang, S.; Zhang, J.; Wang, P.; Law, J.; Calinescu, R.; Mihaylova, L. A deep learning-enhanced Digital Twin framework for improving safety and reliability in human-robot collaborative manufacturing. Robot. Comput. Integr. Manuf.202485, 102608.
91. Choi, S. H.; Park, K. B.; Roh, D. H.; et al. An integrated mixed reality system for safety-aware human-robot collaboration using deep learning and digital twin generation. Robot. Comput. Integr. Manuf.202273, 102258.
92. Guo, Y.; Sun, J.; Zhang, R.; Jiang, Z.; Mi, Z.; Yao, C. An object-driven navigation strategy based on active perception and semantic association. IEEE. Robot. Autom. Lett.20249, 7110-7.
93. Gao, R.; Li, H.; Dharan, G.; Wang, Z.; Li, C.; Xia, F. Sonicverse: a multisensory simulation platform for embodied household agents that see and hear. In: 2023 IEEE International Conference on Robotics and Automation (ICRA), London, UK, 29 May - 02 Jun, 2023. IEEE, 2023; pp. 704–11.
94. Wang, T.; Mao, X.; Zhu, C.; et al. Embodiedscan: a holistic multi-modal 3D perception suite towards embodied AI. arXiv2023, arVix: 2312.16170. Available online: https://doi.org/10.48550/arXiv.2312.16170. (accessed 28 Feb 2025).
95. He, Z.; Wang, L.; Dang, R.; Li, S.; Yan, Q.; Liu, C. Learning depth representation from RGB-D videos by time-aware contrastive pre-training. IEEE. T. Circ. Syst. Vid.202334, 4143-58.
96. Jing, Y.; Kong, T. Learning to explore informative trajectories and samples for embodied perception. In: 2023 IEEE International Conference on Robotics and Automation (ICRA), London, UK, 29 May - 02 Jun, 2023. IEEE, 2023; pp. 6050–6.
97. Patel, S.; Wani, S.; Jain, U.; Schwing, A. G.; Lazebnik, S.; Savva, M. Interpretation of emergent communication in heterogeneous collaborative embodied agents. In: 2021 IEEE/CVF International Conference on Computer Vision (ICCV), Montreal, Canada, 10-17 Oct, 2021. IEEE, 2021; pp. 15953–63.
98. Peri, N.; Luiten, J.; Li, M.; Ošep, A.; Leal-Taixé, L.; Ramanan, D. Forecasting from liDAR via future object detection. arXiv2022, arXiv: 2203.16297. Available online: https://doi.org/10.48550/arXiv.2203.16297. (accessed 28 Feb 2025).
99. Gan, C.; Zhou, S.; Schwartz, J.; Alter, S.; Bhandwaldar, A.; Gutfreund, D. The threedworld transport challenge: a visually guided task-and-motion planning benchmark towards physically realistic embodied AI. In: 2022 International conference on robotics and automation (ICRA), Philadelphia, USA, 23-27 May, 2022. IEEE, 2022; pp. 8847–54.
100. Gan, Y.; Zhang, B.; Shao, J.; Han, Z.; Li, A.; Dai, X. Embodied intelligence: bionic robot controller integrating environment perception, autonomous planning, and motion control. IEEE. Robot. Autom. Lett.20249, 4559-66.
101. Behrens, J. K.; Nazarczuk, M.; Stepanova, K.; Hoffmann, M.; Demiris, Y.; Mikolajczyk, K. Embodied reasoning for discovering object properties via manipulation. In: 2021 IEEE International Conference on Robotics and Automation (ICRA), Xi'an, China, 30 May - 05 Jun, 2021. IEEE, 2021; pp. 10139–45.
102. Huang, X.; Batra, D.; Rai, A.; Szot, A. Skill transformer: a monolithic policy for mobile manipulation. arXiv2023, arXiv: 2308.09873. Available online: https://doi.org/10.48550/arXiv.2308.09873. (accessed 28 Feb 2025).
103. Li, B.; Zhang, Y.; Zhang, T.; et al. Embodied footprints: a safety-guaranteed collision-avoidance model for numerical optimization-based trajectory planning. IEEE. Trans. Intell. Transpor. Syst.202325, 2046-60.
104. Pervan, A.; Murphey, T. D. Algorithmic design for embodied intelligence in synthetic cells. IEEE. Trans. Autom. Sci. Eng.202018, 864-75.
105. Dorbala, V. S.; Mullen, J. F.; Manocha, D. Can an embodied agent find your "cat-shaped mug"? LLM-based zero-shot object navigation. IEEE. Robot. Autom. Lett.20239, 4083-90.
106. Dwivedi, K.; Roig, G.; Kembhavi, A.; Mottaghi, R. What do navigation agents learn about their environment? In: 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), New Orleans, USA, 18-24 Jun, 2022. IEEE, 2022; pp. 10276–85.
107. Gao, C.; Liu, S.; Chen, J.; et al. Room-object entity prompting and reasoning for embodied referring expression. IEEE. Trans. Pattern. Anal. Mach. Intell.202346, 994-1010.
108. Zhao, C.; Yuan, S.; Jiang, C.; et al. ERRA: an embodied representation and reasoning architecture for long-horizon language-conditioned manipulation tasks. IEEE. Robot. Autom. Lett.20238, 3230-7.
109. Liu, X.; Guo, D.; Liu, H.; Sun, F. Multi-agent embodied visual semantic navigation with scene prior knowledge. IEEE. Robot. Autom. Lett.20227, 3154-61.
110. Sermanet, P.; Ding, T.; Zhao, J.; et al. RoboVQA: multimodal long-horizon reasoning for robotics. In: 2024 IEEE International Conference on Robotics and Automation (ICRA), Yokohama, Japan, 13-17 May, 2024. IEEE, 2024; pp. 645–52.
111. Zhao, Q.; Zhang, L.; Wu, L.; Qiao, H.; Liu, Z. A real 3D embodied dataset for robotic active visual learning. IEEE. Robot. Autom. Lett.20227, 6646-52.
112. Long, Y.; Wei, W.; Huang, T.; Wang, Y.; Dou, Q. Human-in-the-loop embodied intelligence with interactive simulation environment for surgical robot learning. IEEE. Robot. Autom. Lett.20238, 4441-8.
113. Hashemian, A. M.; Adhikari, A.; Aguilar, I. A.; Kruijff, E.; von der Heyde, M.; Riecke, B. E. Leaning-based interfaces improve simultaneous locomotion and object interaction in VR compared to the handheld controller. IEEE. Trans. Vis. Comput. Graph.202330, 4665-82.
114. Sagar, M.; Moser, A.; Henderson, A. M.; et al. A platform for holistic embodied models of infant cognition, and its use in a model of event processing. IEEE. Trans. Cogn. Dev. Syst.202215, 1916-27.
115. Legrand, J.; Wang, H.; Iida, F.; Vanderborght, B. A variable stiffness anthropomorphic finger through embodied intelligence design. IEEE. Robot. Autom. Lett.20239, 1580-7.
116. Fischer, T.; Demiris, Y. Computational modeling of embodied visual perspective taking. IEEE. Trans. Cogn. Dev. Syst.201912, 723-32.
117. Greenacre, M.; Groenen, P. J.; Hastie, T.; d'Enza, A. I.; Markos, A.; Tuzhilina, E. Principal component analysis. Nat. Rev. Methods. Primers.20222, 100.
118. Cancemi, S. A.; Frano, R. L.; Santus, C.; Inoue, T. Unsupervised anomaly detection in pressurized water reactor digital twins using autoencoder neural networks. Nucl. Eng. Des.2023413, 112502.
119. Raptis, T. P.; Passarella, A. A survey on networked data streaming with apache kafka. IEEE. Access.202311, 85333-50.
120. Abramova, V.; Bernardino, J. NoSQL databases: MongoDB vs cassandra. In: Proceedings of the international C(*) conference on computer science and software engineering; 2013. pp. 14–22.
121. Shah, J.; Dubaria, D. Building modern clouds: using docker, kubernetes & Google cloud platform. In: 2019 IEEE 9th Annual Computing and Communication Workshop and Conference (CCWC), Las Vegas, USA, 07-09 Jan, 2019. IEEE, 2019; pp. 0184–9.
122. Khan, L. U.; Saad, W.; Niyato, D.; Han, Z.; Hong, C. S. Digital-twin-enabled 6G: vision, architectural trends, and future directions. IEEE. Commun. Mag.202260, 74-80.
123. Vuković, M.; Mazzei, D.; Chessa, S.; Fantoni, G. Digital twins in industrial IoT: a survey of the state of the art and of relevant standards. In: 2021 IEEE International Conference on Communications Workshops (ICC Workshops), Montreal, Canada, 14-23 Jun, 2021. IEEE, 2021; pp. 1–6.
124. Liu, X.; Zheng, L.; Wang, Y.; et al. Human-centric collaborative assembly system for large-scale space deployable mechanism driven by Digital Twins and wearable AR devices. J. Manuf. Syst.202265, 720-42.
125. Zhou, H.; Wang, L.; Pang, G.; et al. Toward human motion digital twin: a motion capture system for human-centric applications. IEEE. Trans. Autom. Sci. Eng.202422, 619-30.
126. Wang, B.; Zhou, H.; Li, X.; et al. Human digital twin in the context of Industry 5.0. Robot. Comput. Integr. Manuf.202485, 102626.
127. Fan, J.; Zheng, P.; Lee, C. K. M. A vision-based human digital twin modeling approach for adaptive human–robot collaboration. J. Manuf. Sci. Eng.2023145, 121002.
128. You, Y.; Cai, B.; Pham, D. T.; Liu, Y.; Ji, Z. A human digital twin approach for fatigue-aware task planning in human-robot collaborative assembly. Comput. Ind. Eng.2025200, 110774.
129. Okegbile, S. D.; Cai, J.; Niyato, D.; Yi, C. Human digital twin for personalized healthcare: vision, architecture and future directions. IEEE. Netw.202237, 262-9.
130. Wang, B.; Zhou, H.; Yang, G.; Li, X.; Yang, H. Human digital twin (HDT) driven human-cyber-physical systems: key technologies and applications. Chin. J. Mech. Eng.202235, 11.
131. Almeaibed, S.; Al-Rubaye, S.; Tsourdos, A.; Avdelidis, N. P. Digital twin analysis to promote safety and security in autonomous vehicles. IEEE. Commun. Stands. Mag.20215, 40-6.
132. Wang, T.; Zheng, P.; Li, S.; Wang, L. Multimodal human-robot interaction for human-centric smart manufacturing: a survey. Adv. Intell. Syst.20246, 2300359.
133. Halawa, H.; Abdelhafez, H. A.; Boktor, A.; Ripeanu, M. NVIDIA jetson platform characterization. In: Euro-Par 2017: Parallel Processing: 23rd International Conference on Parallel and Distributed Computing, Santiago de Compostela, Spain, 28 Aug - 1 Sep, 2017. Springer, 2017; pp. 92–105.
134. Allison, D.; Smith, P.; McLaughlin, K. Digital twin-enhanced methodology for training edge-based models for cyber security applications. In: 2022 IEEE 20th International Conference on Industrial Informatics (INDIN), Perth, Austrilia, 25-28 Jul, 2022. IEEE, 2022; pp. 226–32.
135. Lei, B.; Janssen, P.; Stoter, J.; Biljecki, F. Challenges of urban digital twins: a systematic review and a Delphi expert survey. Autom. Constr.2023147, 104716.
136. Lehtola, V. V.; Koeva, M.; Elberink, S. O.; et al. Digital twin of a city: review of technology serving city needs. Int. J. Appl. Earth. Obs. Geoinf.2022114, 102915.
137. Ye, X.; Du, J.; Han, Y.; et al. Developing human-centered urban digital twins for community infrastructure resilience: a research agenda. J. Plan. Lit.202338, 187–99. https://www.researchgate.net/publication/365888617_Developing_Human-Centered_Urban_Digital_Twins_for_Community_Infrastructure_Resilience_A_Research_Agenda. (accessed 2025-03-06).
138. Angin, P.; Anisi, M. H.; Göksel, F.; Gürsoy, C.; Büyükgülcü, A. AgriLoRa: a digital twin framework for smart agriculture. J. Wirel. Mob. Netw. Ubiquitous. Comput. Dependable. Appl.202011, 77-96.
关于TsingtaoAI

TsingtaoAI通过对前沿先进具身机器人与协作机器人的算法和智能体开发,搭建面向自动化工厂的具身智能实训平台,可以让企业在实际大规模产线决策建设前,进行预研实训,以让企业获得更快接入超级AI工厂的能力。

TsingtaoAI基于PBL的项目式实训理念,自研基于DeepSeek的具身智能实训解决方案、LLM的AIGC应用开发实训平台、基于LLM大模型的AI通识素养课数字人助手、一站式机器学习/深度学习/大模型AI训练实训平台和基于大语言模型的AIGC案例学习平台,为央国企、上市公司、外资企业、政府部门和高校提供AI&具身智能实训道场建设服务。

 

 

Product & Case.

产品与案例