当我们在讨论灵巧操作仿真时，我们在讨论什么？

核心判断 我们讨论的是：在可控的虚拟环境里，探索灵巧手如何完成操作、为什么失败、哪些方法更有效，再检验这些结果能否在真实机器人上成立。 仿真的对象既有物理状态，也有传感信号、执行器、控制时钟、任务分布和评价协议。引擎名字、画面逼真度和FPS，只能回答其中一部分。

本报告把灵巧操作限定为多指手或双手通过接触完成抓取、重定向、手内调整、工具使用、柔性物体处理和组合操作。普通夹爪、通用VLA和世界模型通常作为邻接证据，单列背景；HydroShear因其可共享的触觉机制纳入核心分析，保留并行夹爪的实验边界。“用了仿真”不等于“研究了仿真”；“动作像人”不等于“接触能完成任务”。

阅读入口：完整筛选账本 · 项目核验与路线 · 已有笔记映射。HTML在本目录的附件中，目录链接见文末。

1. 调研范围与筛选漏斗

时间窗为 2024-09-10—2026-09-10，按arXiv v1首次提交日期决定纳入；精读使用截至检索日可见的明确版本。首轮仓库按2026-09-10公开状态核验，可早于论文时间窗创立；HydroShear于2026-09-14补核。不把较新的会议年份或更新日期冒充新论文。

这是围绕问题的定向范围调研，不是穷尽arXiv的系统综述。检索采用arXiv限定域关键词、论文引用回溯、项目主页到官方仓库追踪，以及现有Obsidian全文检索。没有把搜索引擎命中总数虚报为已筛选论文数。

入口/阶段	实际数量	通过条件	去向
arXiv可审计候选	38篇	已核对官方标题、v1日期、摘要和来源链接	全部逐项登记
核心问题层	29篇	多指/双手任务及直接相关的共享组件，涉及仿真物理、感知、数据、控制或验证	按问题分层比较
邻接背景层	9篇	通用基础设施、一般操作评测或策略/世界模型侧链	不冒充灵巧仿真核心证据
完整精读层	7篇	机制互补、证据可取、能代表不同技术取舍	原6篇，补接已有HydroShear完整笔记
GitHub独立入口	19个仓库	官方主页/论文/组织链接+README/源码核验	18个技术项目，1个项目网页仓库
Obsidian独立入口	222个关键词匹配文件（9月10日）	包括日报、概念与重复引用；不计作222篇研究论文	累计20条映射：17篇可定位，3条保留为历史线索
可执行决策层	3条实验路线	明确任务、假设、基线、配置与退出条件	实验设计，尚未执行复现

这里的漏斗有两种“分层”：先按证据筛选投入精力，再按技术层解释问题。它们不是把29篇排成单一分数榜。七篇精读不代表七个最好的算法；Dex-X代码未确认公开仍被选中，是为了分析最新论文的机制和证据边界。

9月14日补漏： 原37篇候选、6篇精读之外，接入9月13日已单独整理的HydroShear；保留原检索时间窗，不把本次补充描述为重新穷尽检索。

精读组合：BODex（抓取物理验证）、Taccel（接触触觉求解）、HydroShear（有历史的触觉观测）、DexMimicGen（示范扩增）、DexMachina（功能重定向）、DexScrew（不完美仿真与真机闭环）、Dex-X（视频到视觉触觉策略）。

2. 六层问题：先确定你希望仿真帮什么忙

技术层	真正要问的问题	最小实验/可测量量	代表线索
任务与接触	手需要保持、滑动、滚动、换指还是释放接触？目标是物体姿态还是工艺精度？	接触模式、阶段完成、扰动恢复、精度容差	BODex、Labimus、LabDex
本体与执行器	关节和电机是一一对应吗？腕部能自由移动吗？摩擦、腱绳、回差、饱和与延迟怎么进入动作？	力矩/速度限幅、控制增益、负载响应、动作频率	DexMachina、Tendon Hand MPC、Morphology and actuation
物理求解	接触和形变用什么状态与近似？什么误差会改变策略行为？	穿透、滑移阈值、力分配、软体形变、时间步敏感性	Taccel、TacEx、SuperDex
传感与观测	给策略的是物体真值、指尖净力、压力图还是光学触觉？真机能否取得？	噪声、遮挡、迟滞、频率、标定误差、观测延迟	HydroShear、Tacmap、PTLD、Dex-X、Blind Grasping
数据与策略	用仿真规划、探索、筛选还是扩增？新增样本是否带来新接触策略？	有效轨迹率、类型覆盖、物体划分、学习曲线、端到端GPU时	DexMimicGen、Dexonomy、Dex1B、SPIDER、CHORD
校准与真机验证	仿真中的排序、失败和收益能否预测真实世界？	独立试验、未见对象、跨参数曲线、sim/real排序一致性	DexScrew、TeleOpBench、视觉Sim2Real RL

以下是报告的系统分析记号，不是某篇论文提出的新定理：

x是物理状态，Fθ是物理演化，Hφ是可依赖状态历史的传感生成（实现中可用递推状态压缩历史），Cψ是把策略动作变成执行器输入的控制链，g是任务目标。真实迁移失败可能来自任何一段；调大摩擦随机化无法保证补偿错误的控制延迟，也不能消除视觉观测中的特权泄漏。

Sandbox与benchmark：仿真还能用来做什么

仿真也可以作为sandbox：执行动作、生成数据、重放失败，并改变接触、观测或控制条件来比较替代方案。Benchmark是其中冻结任务分布、初态、接口、预算和计分协议的一环，而不是另一种独立用途。例如DexGraspBench把候选抓取放到相同加载条件下比较；发现某类失效后，又可回到沙盒中改变条件追查原因。可重置、可观测、可干预对各类仿真都重要；灵巧操作尤其要保留接触预载、剪切历史和控制状态。即使暂时没有真机，这些能力也能用于方法比较和调试；是否能外推到真实任务需要另外检验。

接触模式比“有没有手”更能定义难度

抓住一个静态物体、在手里转动、双手交接、用刮板保持工具—桌面接触，是不同约束问题。多指手可能只是充当一个高维夹爪，也可能真的需要指间换接触。数据与评测必须说明它究竟覆盖哪种情况。

BODex的六方向抗重力测试适合筛掉不稳抓取，但不包含长程技能链。DexScrew的螺母预装、螺丝刀预插，所以其结果不能直接等同于从散件完成装配。Labimus进一步指出，做完称量动作并不意味着达到实验容差。BODex §V、DexScrew局限、Labimus。

本体资产是实验条件，不只是一个URDF文件

需要同时审查碰撞网格、质量惯量、关节限位、驱动耦合、控制增益和腕部约束。DexMachina对手资产做过质量/惯量与碰撞处理，并采用6-DoF悬浮腕；其手型差异是在这一组建模和控制条件下观察到的。腱绳手的采样MPC则说明仿真也可以用作在线短时预测模型，不必都走离线大规模RL。对手型的研究应拆开运动学雅可比和驱动矩阵，外观越像人并不保证控制条件数更好。DexMachina附录、Tendon Hand MPC、Morphology and actuation。

接触求解和触觉生成必须分别验收

触觉相机图像逼真，可以来自渲染模型；力分配合理，需要动力学和材料参数支持。指尖净力、接触位置、几何压痕、凝胶形变、光学图像属于不同抽象层。

Taccel用刚柔统一求解保留凝胶形变；Tacmap把仿真和真实信号映射到共同几何深度表示；PTLD用真实特权传感与触觉数据学习状态估计，绕开触觉模拟。这三条路各自降低不同误差，并不互相否定。Taccel、Tacmap、PTLD。

HydroShear补上了“接触历史”这一层：它跟踪物体表面点在接触中的累积量，经摩擦限幅描述黏着与滑移，再汇聚成marker位移场。因此，相同的当前位姿，经历不同的横移、滑动或重新接触后，可能产生不同触觉。在已核查的公开任务中，它从Isaac Gym/TacSL推进后的位姿生成观测，没有把输出回写为刚体接触力来替换底层solver。恢复中途状态时，也不能只恢复物体pose而丢掉这段历史。

它用30个真实标定样本（按压、组合剪切、受控滑动各10个）拟合有效参数，另用40个样本测试dilation、shear、twist与roll。四项真机任务合计112/120次成功；这些是带两块GelSight Mini的并行夹爪实验，其中插入与抽屉任务分别从已抓持物体、已夹住把手的状态开始。结果支持这组条件下的触觉迁移，不能直接当作多指全手换指能力。局部剪切场计算比原FOTS快、比重实现FOTS慢，也不宜概括为全面提速。方法、分项结果和代码边界见HydroShear完整笔记及原文实验。

3. 两年的变化：从抓得住，到接触经验如何规模化

2024下半年：先把数据与评价接起来

DexMimicGen把少量示范变成可执行的新轨迹，DexGraspNet2扩大杂乱场景抓取数据，BODex把抓取几何与接触力可行性、执行姿态和动态筛选连接起来。TacEx则展示在既有Isaac平台中插入触觉和软体模块的路线。共同关注点是让仿真成为有任务语义、可重复利用的数据生产和验证设施。DexMimicGen、DexGraspNet2、BODex、TacEx。

2025：开始明确拆解“规模”与“物理可行”

DexMachina、ManipTrans和SPIDER将人类运动转换为机器人真正能执行的交互；Dexonomy强调31类抓取类型，Dex1B扩大示范数量；DexGarmentLab把柔性衣物纳入场景；Taccel为刚柔接触与高密触觉支付额外算力。另一端，DexScrew反过来证明：可以让仿真只负责学适当的指步，把难以模拟的细节交给真实数据闭环。ManipTrans、Dexonomy、SPIDER、Dex1B、DexGarmentLab。

2026截至9月10日：表示、校准和功能评价继续细分

Dex4D以点轨迹条件组合技能；Tacmap与PTLD选择不同触觉对齐路线；CHORD在物体接触扳手空间提供指导；实验室基准把精度与长程任务纳入评价。最新Dex-X将仿真当作视频中缺失触觉监督的补全环节，但其部署仍需要运动参考，较大物体几何变化下成功率也明显下降。Dex4D、CHORD、LabDex、Dex-X v2。

这是本报告对所选样本的归纳，不是按年份证明整个领域已经完成某个阶段。2026年的新结果仍包括预印本与初始发布，工程稳定性要另外检查。

4. 五种使用仿真的方式，分别在优化什么

路线	仿真负责	真实世界仍负责	合适的问题	主要风险
高保真接触	凝胶、摩擦、非穿透、力学演化	材料和传感器标定	剪切滑移、触觉设计、非凸接触研究	计算成本和参数不可辨识
共用观测表示	构造可与真实对齐的几何/力信息	从传感器到共用表示的标定	快速触觉RL、表示迁移	共用表示丢失对任务重要的状态
物理约束数据生成	变换、规划、执行、失败过滤	资产构建、演示或标定	扩增示范、跨物体初始条件	“数据增多”但接触策略和错误不变
功能重定向与课程	用物体目标指导接触探索	真实驱动与感知转换	人类视频/动捕到机器人技能	训练特权、虚拟辅助和部署条件混淆
简化仿真＋真实补齐	学低成本、可复用技能	触觉、恢复、精细动力学	仿真难以覆盖的高价值技能	真机人时及预先布置被漏算

这张表是基于上面论文的技术归纳。选型应从任务失败机制出发：如果失败发生在首次触碰的位置，优先看几何和标定；如果每次接触都对、动作一加速就掉落，优先看执行器与时钟；如果只在胶垫切向滑动时失效，才有理由增加该部分的物理保真度。

5. 最容易被读错的数字

工作/说法	原文实际口径	能支持什么	不能直接支持什么
DexMimicGen：21K示范、真机90%	60条源示范生成仿真数据；真机另由4条源示范辅助采集40条真实轨迹，20次测试	指定任务上的采集与学习收益	所有任务纯仿真视觉零样本迁移
Taccel：18.30倍实时	H100 80G、低分辨率双触觉插入；全手17块凝胶是另一组条件	该配置下的仿真吞吐	任意全手高密触觉均以该速度运行
HydroShear：93.33%	四项真机任务合计112/120；另用30个真实样本标定传感模型	已标定传感器与指定任务初态下的触觉策略迁移	多指全手能力、无需真实标定，或替换底层接触solver
DexMachina：手型效果	按物体部件的ADD-AUC、仿真悬浮腕、特定示范与再实现	特定设置下功能重定向与手型适配	实物硬件综合排名、完整任务成功概率
BODex：79.9% SSR、81%真机	仿真六向重力测试；真实20物体×5次	抓取稳定与真实抓取可行	手内操作、连续工具使用可靠率
DexScrew：95%	螺丝刀平均进度比95.00±13.24%，10试验	任务推进显著改善	95%的独立任务全部成功
Dex-X：65.9%、93%	65.9%为六类仿真专家均值；93.3%为真机cube28/30	指定任务的视触觉迁移	六类都93%、任意物体93%
Dex1B / SPIDER / CHORD	分别有“示范”“帧”“任务”单位；CHORD构建4739项、评测1831项	不同维度的规模扩展	直接比较三个总数大小得出能力排序

数字来源为对应精读笔记的完整表格与实验定位；其他来源为Dex1B摘要、SPIDER摘要、CHORD摘要。新项目的摘要承诺、论文实验与本次实际复现是三个层次；本次没有重跑上述实验。

还应避免一个乐观偏差：看到了27%的盲抓真实成功率，仍然可以认为其触觉校准路线有研究价值；没有必要把它改写成“稳定解决盲抓”。Blind Dexterous Grasping。

6. 项目名字背后的软件层级

• MuJoCo / Genesis / Newton / SuperDex Physics：主要回答物理世界如何表示和演化。后端、接触方式与支持特性需按版本检查。
• Isaac Lab / ManiSkill / MuJoCo Playground / SuperDex Lab：主要组织任务、观测、动作、并行环境与学习接口。
• Taccel / TacEx / HydroShear：将触觉传感和接触物理纳入仿真链条，具体耦合方式不同；HydroShear在已核查路径中生成有历史的触觉观测。
• BODex / Dexonomy / DexMimicGen / DexMachina / DexScrew：主要承载某条方法或数据、策略管线，不能仅按“谁的引擎更先进”比较。

依据为本次官方README和源码入口核验，详见灵巧操作仿真-GitHub项目与复现路线。尤其要保留三个版本事实：

1. SuperDex：核心Physics/Robotics/Studio与Lab早期预览可见；README把Teleop写为Q4 2026计划，不能当作已发布能力。官方README。
2. TacEx：2024论文写GIPC组合，当前代码README以UIPC集成描述实现，并限定Isaac Sim4.5/IsaacLab2.1.1；论文与当前软件不能无版本地混用。官方README。
3. DexGraspBench：main将物体质量从30g改100g、kp从1改5；论文原版在baseline分支。一次同名benchmark运行未必复现原论文。官方README。

7. 我建议的三条起步路线

这些是调研后的实验设计，不是已经获得的实验结论。统一要求：固定仓库SHA、资产校验值、时间步/子步、控制频率、控制增益、观测延迟、随机化范围、种子、终止和成功条件。

A. 先判断：仿真能否预测真实抓取失效？

采用BODex/DexGraspBench建立可解释基线；同时把Dexonomy作为抓取类型扩展的后继路线。先只选择一个手和10—20个覆盖薄片、长条、圆滑和重心偏置的物体，而不是立即生成百万数据。

以物体为单位划分训练/校准与测试；测试低/高摩擦、质量变化和控制延迟。记录成功率、滑移起始时刻、穿透、力矩峰值和失败类别。若仿真排序不能预测真机排序，应先定位资产/控制误差，暂不扩大数据规模。

B. 再判断：什么层次的触觉值得模拟？

在相同手、物体与动作下比较无触觉、指尖力、几何深度表示、软体触觉四种输入；Taccel/TacEx用于高保真对照，HydroShear用于接触历史与剪切观测对照，Tacmap用于表示路线，PTLD作为真实蒸馏路线。

先做接触事件时间、滑移阈值与表示误差测试，再比较相同训练预算的策略收益。分别报告每环境实时率和聚合步数、显存、渲染与学习总耗时。若图像更像但真实策略不改善，说明应回到任务所需状态，而不是继续优化渲染相似度。

C. 最后判断：仿真如何降低真实数据成本？

任务可由少量源示范覆盖时，采用DexMimicGen式扩增；已有大量人类动作时，比较DexMachina/ManipTrans/SPIDER的功能重定向；关键物理难以模拟时，采用DexScrew式技能采集。Dex-X作为视频—触觉补全的前沿观察项，先解决代码公开与参考依赖。

统一记账：人类标注/采集时长、真实机器人运行时长、生成尝试数、成功保留数、GPU时与未见任务收益。接触类型覆盖不足时，优先增加不同策略与失败恢复示范，而非重复同一条轨迹的轻微位姿扰动。

最小验收表

验收项	推荐记录	为什么
成功	每对象、每条件的成功次数/总次数，区间及种子	小样本百分比容易过度解释
泛化	未见几何、材质、任务、初始姿态分别测试	不把“新位置”当“新技能”
接触	滑移、掉落、力峰、非穿透、接触切换	失败定位比最终均值更能指导改进
时间	物理步、控制步、传感时间戳、推理耗时	保证闭环时序可迁移
成本	仿真/渲染/学习总时间+真机人时	避免只优化局部FPS
外部有效性	sim/real趋势与策略排序的一致性	让仿真成为可信测试工具

8. 从已有Obsidian笔记中补上的连接

现有笔记分别讨论接触求解、数据闭环、灵巧手触觉和世界模型，本报告将它们连到具体的可测量接口。

• 真实数据闭环中的仿真定位 → DexScrew提供“学技能—辅助采集—真实补齐”的具体实例。
• HydroShear → 有历史的剪切观测为“接触状态怎样进入触觉、如何标定和重置”提供具体例子。
• Tacmap、PTLD → 触觉可以通过共用表示或真实蒸馏对齐，仿真不必复制传感器所有细节。
• TouchWorld → 预测/反应模型与接触求解器解决不同问题；未来接触预测要经过可干预、可重复的物理测试。
• CHORD、Dex4D → 技能可以在物体效果、点轨迹和扳手空间组织，而不只在机器人关节空间模仿。

所有既有笔记都作为线索或解读来源；关键外部事实优先回到官方arXiv/仓库。共20条重点映射，其中17篇可定位、3条仅保留为历史线索；来源状态及纳入方式见灵巧操作仿真-已有笔记映射。

9. 仍未被这些证据解决的问题

1. 已有标定能否预测新的接触？ HydroShear用按压、剪切和滑动拟合，再测试twist/roll；但新的法向负载或重新接触仍需另验。尤其是不发生滑移的轨迹，无法唯一确定从未触发限幅的摩擦参数。下一步应看留出接触条件的预测，而不只是原轨迹拟合误差。
2. 成功示范覆盖了哪些恢复机会？ DexMimicGen保留执行成功的示范，但轨迹总量不能说明策略是否学过“换指刚开始滑落”的状态。可以在同一换指阶段施加固定扰动，比较等量正常示范与成功恢复片段训练后的条件恢复率；这项检验尚未由当前结果回答。
3. 增加哪部分复杂度才值得？ HydroShear、Taccel与DexScrew分别投入触觉历史、刚柔求解和真实补齐，现有论文的不同任务与预算不足以排出优先级。需要选定同一任务和硬件，分别按相同交互量、相同算力与人时上限比较留出真机表现，才能指导下一笔投入。

因此，下一次讨论“灵巧操作仿真选什么”时，最有用的起点是：想改善哪个真实任务、哪种接触失效，以及准备如何检验仿真是否确实帮上了忙。

10. 交付与证据边界

• 首轮新增6篇完整论文笔记，覆盖45幅Figure、26张Table与57组陈列公式，另登记行内关系式；本次接入已有HydroShear完整笔记，增加17幅图、10张表及公式索引，合计7篇、62幅图和36张表。公式沿各笔记口径登记；含公式/超参数疑点，不擅自改写为已证实结论。
• 候选清单逐项注明核心/背景/精读和原因；未精读的论文明确写摘要/元数据级核验。
• GitHub记录19个仓库快照：首轮18个及11个具体代码/配置入口，另补HydroShear传感器与任务调用链核查。快照不等于已运行，API限流后以官方原始README、git或页面提交ID补核。
• 未进行大规模训练、真机试验或软件性能复测；三条路线是后续研究设计。
• 自包含HTML无需外部JS/CSS；原6篇论文笔记使用在线原图，HydroShear图像已有本地归档，离线HTML总结不依赖这些原图。

附件与继续阅读

• 自包含HTML总结
• 38篇候选、纳入理由与证据等级
• 19个仓库快照与代码入口
• 20条重点映射：17篇可定位、3条历史线索

从一小时课程开始

• 第1小时：六层问题框架、交互模型、自测与实验卡片（60分钟，离线HTML课程）