灵巧操作研究证据账本#
研究决策: 优先完成 ManiSkill 原生接入(#47)和手内旋转独立评分(#48)。其他方法先借鉴评价与输入审计协议,暂缓未经准入的运行时、自定义引擎分支及依赖真机的训练。两个有预算的可选后续任务是动作回放 #52与合成触觉历史 #53,均不先于核心接触/布料修复。
2026-10-05 核对历史范围中的 38 篇论文摘要页、19 个仓库入口。这不是 38 篇完整方法审查或 19 个项目复现;源码、驱动、观测权限和资产许可未查明时保留未知。详见 论文记录与仓库记录。
论文版本与审查深度#
下表列出版本、标题和摘要页身份;部分任务与方法审计见后文,其余完整方法审计仍待完成。版本固定链接优先于会变化的 latest 链接。
仓库与许可证据#
固定 SHA 代表源码入口身份,不代表对应论文版本或可运行性。LICENSE 元数据不授予资产再分发权;未发现根目录许可证不代表其他目录没有条款。
仓库 / Repository |
固定源码 / Source |
审查 / Review |
|---|---|---|
mani-skill/ManiSkill |
README / metadata |
|
JYChen18/BODex |
README / metadata |
|
JYChen18/DexGraspBench |
README / metadata |
|
NVlabs/dexmimicgen |
README / metadata |
|
MandiZhao/dexmachina |
README / metadata |
|
Taccel-Simulator/Taccel |
README / metadata |
|
MMintLab/hydroshear |
README / metadata |
|
DH-Ng/TacEx |
README / metadata |
|
wayrise/DexGarmentLab |
README / metadata |
|
x-robotics-lab/dexscrew |
README / metadata |
|
Genesis-Embodied-AI/genesis-world |
README / metadata |
|
InternRobotics/UltraDexGrasp |
README / metadata |
|
cyjdlhy/TeleOpBench |
README / metadata |
|
dexx-code/dexx-code |
README / metadata |
|
facebookresearch/project_superdex |
README / metadata |
|
google-deepmind/mujoco |
README / metadata |
|
google-deepmind/mujoco_playground |
README / metadata |
|
isaac-sim/IsaacLab |
README / metadata |
|
newton-physics/newton |
README / metadata |
尚未完成#
#46 在研究交付通过验收前保持开放。每项记录的 solver、源码及资产未知项仍须在运行时接入前解决;#47/#48 尚未实现。
ManiSkill 源码审计:上游成功不等于物理验收#
固定源码 62ff3a5896b4d5b4cf0ac4c8d79afe600c9404a3;本节为静态审查,尚未运行新任务。ManiSkill1 v5 侧重物体泛化,ManiSkill2 v1 扩展任务与控制器;当前 MS3 资产和 solver 不能自动视为论文原始配置。
PickCube:成功由目标距离和机器人静止组合,持续支撑与释放需独立评分。非 state 的额外输入仍含抓持状态和目标位置;选择 RGB 不自动代表纯视觉。
PushCube:平面接近与高度上界不能独立排除物体穿到桌下,需加入明确负例。
旋转任务:Level0–3 使用 AllegroHandRightTouch,累计无符号角度。128 步往返摆动的代数反例可超过4π而净转角为零;这不是已运行的物理漏洞复现。独立记录相对手掌的有符号旋转、掉落与换指;PD 估算力矩不当作实测力矩。
手部控制:位置/增量 PD 的目标关节值不同于实际关节状态。触觉输入 给出接触冲量幅值,不是经过标定的触觉图像;逐字段审查输入权限。
源码记录 · 代数负例。#47/#48 同时保留上游成功与独立评分,并验证重置隔离。实际安装 solver 身份与资产条款仍待准入。
合成、重定向与数据:复用什么#
方法账本记录候选的一手定位、未知项、决策和预算;均未运行复现。
方法 |
已核查边界 |
复用决定与可证伪实验 |
|---|---|---|
Dexonomy |
固定源码的 MuJoCo3.3.3 属历史配置。六轴加载和末态误差是不同验收;默认5cm/15°不是本项目阈值。hard配置注释与执行代码不一致:代码仍用noslip2、impratio10,只降低摩擦。 |
借鉴抓型分类及加载协议;同物体/手型/载荷比较3类抓型,逐项输出失效方向。记录运行时参数,不照抄注释。 |
Dex1B |
数据数量不证明可执行轨迹率或接触模式覆盖;实现身份、solver和资产条款未核实。 |
暂缓大数据;固定小样本分别计生成、执行、独立通过率,保留过滤失败。 |
SPIDER |
固定README明确保存状态回放不证明动作重跑等价;非商业条款与数据来源分别审查。 |
借鉴回放审计;同一动作序列自由演化与状态回放对照,禁止在评分期间注入物体状态。 |
CHORD |
附录B含物体/接触状态和内部物体辅助控制;全身变体观测不同。reset后辅助力有warm-up,不能只看策略动作维度。 |
借鉴接触力矩空间与辅助力记录;逐阶段记录外力,正式独立评分排除未披露辅助。 |
当前只做协议研究,不训练或下载大资产。候选小探针最多10工况、单个合格执行者、30分钟上限;缺源码/solver/资产依据或独立物理评分失败即停止。要执行前另建/补全独立Issue及依赖,不能将本表当成实现授权扩张。
触觉模型不能混同物理后端#
工作 / 审查版本 |
可复用边界 |
最小反证实验 |
|---|---|---|
路径相关剪切观测,假设平面弹性体及允许侵入的柔顺接触;教师与学生输入不同。 |
同终态用不同路径及脱离重接触到达,分别检查记忆、重置和刚体动力学。 |
|
几何触觉图;观测几何不同于物理碰撞几何。 |
只改变感知分辨率,分别比较图像误差与接触合力。 |
|
需要真实环境的特权数据采集再蒸馏,不是零数据迁移。 |
分别审计教师、价值网络、采集端和部署策略的输入,移除部署禁用的物体位姿。 |
|
胶体物理、光学与标记合成分开;历史打滑不能推广为当前PhysX缺陷。 |
相同给定轨迹分别比较力/形变与光学输出。 |
|
ABD/FEM IPC及运动学约束,接触和驱动要分别准入。 |
固定网格的压入、剪切、卸载,记录残差、力、侵入及分阶段开销。 |
独立实现的限定几何占据观测器已完成三批有界实验。这不代表接入或认证了上游触觉运行时、剪切记忆或硬件精度。上游输入、solver与许可边界仍见方法账本。
抓取评估与双臂数据生成#
方法 |
证据边界 |
决策与可证伪的小实验 |
|---|---|---|
论文重力保持超过3秒,容许5cm/15°偏差;几何穿透和合成速度是另外的指标。 |
借鉴加载协议,保留 DexLab 阈值;固定物理参数比较同一组抓取。 |
|
README 明确物体质量由30g变100g,kp由1变5,与 BODex 论文不同。 |
分别记录两套配置,独立排查质量和驱动变化,之后才比较方法。 |
|
变换后的动作段开环执行,只保留整段任务成功的演示。 |
分开统计尝试、执行和保留数量;失败轨迹也进入独立评分。 |
|
安装依赖自定义 Genesis/rl-games 分支;训练使用逐渐衰减的虚拟物体辅助控制。 |
暂缓直接接入运行时;借鉴辅助力记录,独立评估时要求辅助物体力为零。 |
以上是研究决策,不是新增已支持任务。官方稳定引擎准入、可执行源码审查及资产许可仍是前置条件。可选探针保持最多10例、30分钟预算,尚未启动训练。
布料与工具操作:成功视频不能单独证明什么#
DexGarmentLab v3 使用粒子 PBD,并调节黏附和摩擦。没有固定连接块不等于仅靠摩擦抓取;附录I仍讨论粒子空隙、穿透与抖动。借鉴任务分类,但须单独检验黏附:固定网格和驱动,分别改变黏附与摩擦,检查张手释放和残余吸附。固定版本 README 面向 IsaacSim4.5.0,尚未通过本项目最新稳定版准入。
DexScrew v2 区分仿真特权教师、本体感知学生、真机遥操作和触觉行为克隆。这才是其仓库关联的论文,不能与另一篇关节工具论文混淆。借鉴各阶段输入审计,分别统计有符号旋转、轴向进度和完整完成;缺少真实数据时暂缓硬件复现,不能把进度比例改称成功率。
两者仍为研究参考,资产和运行时准入未完成。本次审查没有运行布料或工具训练。
本体与驱动#
腱驱动手 MPC v3 区分目标关节角、腱命令与估计关节状态。VLM 根据视频调整目标函数权重,MPC 则使用测得的物体状态,并非直接纯 RGB 控制。借鉴这一接口审计,分别测试状态估计延迟和执行器限幅,同时记录控制超时与保持失败。
形态与驱动研究 v1 分离运动学、驱动映射及其组合,实验使用历史 MuJoCo3.10.0。ACBH 模型及实验代码需向作者申请,不能称完整公开可复现。借鉴在已有合法模型上对执行器→关节、关节→指尖映射的有限差分检查;结构条件数不能替代动力学任务验收。
两者仍为协议参考,准确源码、资产条款及独立运行证据尚有缺口;本轮不引入新手模型或训练。
精度、任务组合与点轨迹策略#
Labimus v2:借鉴完成度、精度与阶段诊断的分开评分。其干粉近似使用刚体微元,不能由此认定本项目已具备颗粒物理能力。在已有任务中测试“动作完成但误差超限”的负例。
LabDex v1:借鉴原子/组合任务边界及命令/状态溯源。真机与仿真共用任务名称不证明动力学匹配,准确 solver 仍未核实。测试第二阶段失败的两阶段过程。
Dex4D v1:教师完整几何与学生部分配对点输入不同。借鉴可见性审计,不改称原始 RGB 策略。测试目标丢失且不补入真值点的行为。
三者仍为研究参考;候选探针仅用已有资产,保持10例/30分钟预算。完整实验室、颗粒与策略训练接入暂缓。
其余候选:已筛选,不等于已复现#
以下仅据固定版本摘要进行筛选,保留为参考或暂缓实现;探针是本项目提出的验证方案,不是已有实验结果。方法账本明确保留源码、许可和运行时未知项。
Candidate / 候选 |
Decision / 决策 |
|---|---|
参考运行时设计;先完成 ManiSkill 准入,再考虑其他任务接入 |
|
仅作分类参考;不能代替引擎资格证据 |
|
借鉴遥操作接口与时延协议;暂缓完整基准接入 |
|
借鉴显式标注溯源;暂缓生成系统 |
|
借鉴关节阻力敏感性协议;暂缓依赖真机的学习 |
|
借鉴重建与动作执行的区别审计;暂缓训练 |
|
参考手物交互表示;暂缓生成流程 |
|
借鉴动态载荷保持协议;暂缓学习控制器 |
|
参考关节角色表示;暂缓策略训练 |
|
借鉴抓取策略分组;暂缓大规模数据 |
|
借鉴单因素配对校准;暂缓真机排名 |
|
借鉴接触事件标定;缺少真机数据时暂缓 |
|
参考规划与反馈时钟分离;暂缓基础模型系统 |
|
借鉴不同执行速度的配对评估;暂缓训练 |
|
参考触觉监督来源;暂缓可执行接入 |
三项视觉与数据方法的定向审查#
来源 |
借鉴决策与边界 |
|---|---|
DexGraspNet2.0,§3.2–3.3 |
借鉴物体/杂乱程度划分与候选统计。单视角深度生成抓取姿态后验收抬升,不代表连续 RGB 控制;分别记录碰撞淘汰、抬升与持续保持。 |
ManipTrans,§3–4 |
借鉴有效重力、摩擦与阈值记录。训练放宽物理及终止条件,评分前须冻结正常评估配置;暂缓训练。 |
人形视觉 RL,感知配置 |
借鉴固定标定相机与跟踪特征溯源。头部深度及第三视角分割得到的3D特征并非原始纯 RGB 输入;遮挡测试不允许用仿真真值填补丢失特征。 |
这些定向论文审查不代表源码或资产许可已通过、已安装准确 solver 或已完成运行复现。