论⽂名称：ArtGS: Building Interactable Replicas of Complex Articulated Objects via Gaussian Splatting
论⽂作者：刘宇、贾宝雄、陆睿杰、倪俊峰、朱松纯、黄思远
论文地址：http://articulate-gs.github.io/
导言：现实需求与挑战
在现实世界中，918博天堂(中国)每天都在与各种铰接物体（articulated object）互动——打开抽屉、合上笔记本电脑、翻转台灯。这些物体由多个部件组成，它们之间通过关节连接，可以相对运动。
想象这样⼀个场景：你家中的机器⼈正尝试帮你打开你的笔记本电脑。它动作笨拙，⽤⼒过猛，电脑边缘被磕出⼀道划痕。为什么会这样？因为机器⼈缺乏对这类铰接物体的理解和操作经验。
让机器⼈直接在真实世界中通过试错来学习是昂贵且危险的。⼀般来说，研究者们采用”从仿真到现实”(sim-to-real)的策略——让机器⼈先在安全的仿真环境中学习，再将技能迁移到现实世界。然⽽，仿真环境中使用的物体都是⼈工合成的，与真实环境中的物体有显著差距。如何缩小这个sim-to-real gap?
答案是，构建高保真的数字孪⽣(digital twins)——将现实物体精确地重建到虚拟环境中，实现”从现实到仿真”(real-to-sim)再”从仿真到现实”(sim-to-real)的闭环。这⼀过程的核心挑战在于：如何准确重建出可交互的铰接物体的数字孪生。
然⽽，传统的重建⽅法往往难以应对铰接物体的复杂性：
1.视觉遮挡：给定某一状态下的观测，物体部件以及物体内部常被遮挡，难以完整捕捉几何结构，需要整合多个状态的观察结果；
2.几何与运动的耦合：部件的形状与关节参数（如旋转轴）相互依赖，需联合优化；
3.多部件复杂性：现实物体常含多个可动部件（如多抽屉柜），增加了建模复杂度。
针对以上问题，刘宇和通研院及清华、北大的合作者共同提出了全新的模型ArtGS，⽤于准确重建复杂铰接物体。
方法介绍
核心创新点
1.规范高斯初始化（Canonical Gaussian Initialization）：使⽤从粗到细的策略，通过匈⽛利算法匹配不同状态下的⾼斯球，巧妙地建⽴物体不同状态之间的对应关系。
2.部件分割模块：借鉴蒙⽪技术的思想，设计了基于部件中⼼的分割模块，利⽤空间信息来学习部件信息。
3.基于运动的部件发现和关节参数优化：不依赖预训练模型，直接从物体的运动中发现并区分不同部件，恢复关节参数。
第⼀阶段：规范高斯初始化与对齐
图：⽅法概览
给定⼀个铰接物体的两种状态（如关闭和打开的抽屉）的多视角图像，ArtGS分别为两个状态训练⾼斯表示，再通过匈⽛利算法匹配两个状态的高斯，建立对应关系。根据匹配好的高斯对，ArtGS创建”中间状态”的规范高斯，作为连接两个输⼊状态的桥梁。此外，ArtGS会基于⾼斯的移动程度，区分静态部分和动态部分，用于细化规范高斯的初始化。这种从粗到细的策略为后续的精细重建奠定了基础，特别是对于在某⼀状态下被遮挡的部分，可以从另⼀状态融合信息来完善重建。
第二阶段：部件发现与关节学习
建立规范⾼斯后，ArtGS进⼀步对部件和关节运动进行建模。不同于传统方法使用MLP分割部件，ArtGS设计了基于部件中⼼的分割模块，更好地利⽤3D高斯的空间信息。为了提⾼优化效率，ArtGS通过聚类第⼀阶段中的可动⾼斯来初始化部件中⼼。ArtGS用对偶四元数建模每个部件的运动，利用高斯运动模式⾃动推断关节类型（旋转或平移），并精确估计关节参数。这种部件发现机制不依赖预训练模型，而是直接从物体的运动特征中学习，更适合处理复杂的多部件铰接物体。
联合优化策略
ArtGS最终通过以下损失函数进⾏端到端优化：
1.渲染损失：确保重建的高斯渲染结果与输⼊图像⼀致
2.点云距离损失：保证变形后的高斯与单状态重建的⾼斯接近
3.正则化损失：约束部件中心与其所属高斯的位置关系
实验结果
研究团队在合成数据集和真实世界数据集上进行了广泛实验，结果表明：
1.对于简单铰接物体（2-part），ArtGS在关节参数估计上大幅超越现有⽅法。
2.对于复杂多部件铰接物体（multi-part），当其他⽅法在部件增多时性能急剧下降，ArtGS仍然能够保持⾼质量重建。即使在处理包含7个独⽴可移动部件的复杂物体时，ArtGS也能实现准确的几何重建和关节参数估计。
3.在训练效率上，ArtGS比现有⽅法快3-5倍，大大降低了计算成本。
表：简单铰接物体（2-part）的定量⽐较结果
表：复杂铰接物体（multi-part）的定量⽐较结果
图：复杂铰接物体（multi-part）的定性⽐较结果
技术应用前景
ArtGS的出现为多个领域带来了新的可能性：
机器人学习：为真实世界打造数字孪⽣，在虚拟环境中训练机器⼈与铰接物体交互，再迁移到真实世界。
增强现实：创建可交互的数字孪⽣，提升⽤户体验。
场景理解：帮助AI系统更好地理解复杂环境中的物体结构和功能。
这项研究不仅解决了当前技术⾯临的关键挑战，也为未来在更复杂场景中的应⽤奠定了基础。随着技术的进⼀步发展，918博天堂(中国)可以期待在不久的将来，机器⼈能够更加⾃然、精确地与918博天堂(中国)⽇常⽣活中的各种铰接物体进⾏交互。
