仿真器与模型共同进化#

DexLab 面向通用操作模型、VLA/WAM、Agent-as-policy 与远程机器人 API 团队，提供以接触丰富任务为主的共同进化协议。模型通过远程服务接入，在冻结的机器人配置、任务、仿真版本、随机种子和资源预算下运行；报告给出逐任务成功率、多次运行稳定性、完整任务矩阵和失败证据。

正式榜只使用 DexLab 官方执行产生的分数，不接受团队自报结果。

共同进化闭环#

一次失败可能来自模型、适配器、控制器、场景或物理。DexLab 的职责不是给模型一个“好/坏”标签，而是把下一次改动指到正确的一边：

  1. 模型在固定任务和仿真版本上执行；

  2. 记录原生状态、接触读回、命令、求解状态和原始轨迹；

  3. 归因失败并区分引擎无效运行与模型失败；

  4. 升级仿真器或模型其中一边，再把结果放进新的版本化 cohort。

每个结果都绑定模型版本、仿真器版本、任务协议、seeds、预算和证据。没有这个版本对，就不能判断“换模型”或“换仿真器”是否真正带来了变化。

当前状态#

仓库已经具备任务场景、原生观测、独立评分、失败保留和离线证据链；远程模型执行器和公开 leaderboard 仍在建设中。当前可以申请小范围 pilot，但不能把仓库内脚本化案例视为一个外部模型的已测成绩。

申请模型评测 pilot · 查看现有实验 · 复算一组证据

环境后端可以是原生物理引擎，也可以是负责生成观测的候选 world model；后者仍必须由独立任务评分器判定 success。Uranus 的接口、任务候选和证据等级见 Uranus 后端。

适合评测什么#

首批聚焦接触丰富操作，而不是用大量普通 pick-and-place 场景稀释接触能力：

  • 抓取、抬升、保持与滑移；

  • 海绵擦拭、表面接触与清洁结果；

  • 布料夹取、抬升与释放；

  • 切割、刀面接触与推动；

  • 插接、受限空间操作与接触切换；

  • 后续可扩展颗粒、液体和可变形物体操作。

具体任务集必须在一次正式 cohort 开始前冻结。现有实验只证明相应场景、运行器和评分器可工作；列入候选任务不等于已经对模型开放或已经完成基准资格。

RSS 的公开入口已按任务族盘点：完整清单覆盖 50 个入口、40 个任务范围和 10 个教学／渲染／mock。它们用于扩展候选任务和来源追踪，不把目标评分与共享场景重复计成 50 种独立操作；论文的 18 个精确展示仍缺原始输入。

评分#

设固定任务集包含 T 个任务，每个任务在相同条件下重复 R 次：

任务成功率_i = 成功回合数_i / R
宏平均成功率 = (任务成功率_1 + ... + 任务成功率_T) / T

榜单主指标就是这个任务等权宏平均。

报告同时显示：

  • 每个任务的成功率与失败类型；

  • 多次运行的成功率均值和离散程度；

  • 超时、无效动作、接口错误与物理无效运行；

  • 每个任务的视频或选定回放，以及可公开的失败证据。

不把回合数不同的任务直接汇总成一个按原始回合加权的比例，也不让运行成本更高的任务因回合更多而获得额外权重。

物理真实性随闭环版本演进#

物理真实性首先属于具体版本的仿真器和评测环境。每个正式 cohort 必须先通过版本、场景、单位和接触读回资格检查。引擎或运行器导致的无效运行不能扣模型分，而应从分母中排除并保留失败收据、原因和恢复条件；这些失败正是下一次升级仿真器的输入。

只有当证据表明模型本身持续输出不合理动作、依赖不应暴露的仿真特权状态，或绕过规定接口时，才把它计为模型失败。

客户自带机器人配置#

客户可以自带机器人、夹爪、相机和控制配置。DexLab 不按本体设置能力系数，也不把不同本体强行折算成“模型纯能力”；排行榜衡量的是模型、适配器、控制器和客户机器人配置共同组成的端到端系统。

每个条目至少记录：

  • 机器人、夹爪、相机和控制频率；

  • 观测与动作接口；

  • 模型名称、版本和不可变标识；

  • 适配器、运行镜像和依赖版本；

  • 任务集、场景、随机种子和重复次数；

  • 所有运行、失败与重试。

因此公开榜单必须写明“端到端系统成绩”。同一个模型更换本体或适配器后，应作为新条目或明确的新版本，不继承旧成绩。

正式评测流程#

  1. 提交申请。 团队提供不含密钥的模型与接口信息，私有凭据通过约定的私密渠道交付。

  2. 接口资格。 检查模型端点、观测格式、动作格式、超时、状态重置和错误语义。

  3. 冻结 cohort。 固定任务、本体配置、引擎版本、种子、重复次数、资源上限和评分器。

  4. DexLab 官方运行。 评测器控制场景重置、观测、动作接收、超时和评分；客户端点只接收规定观测并返回规定动作。

  5. 完整报告。 输出宏平均成功率、稳定性、任务矩阵、成本、失败类型和证据索引。

  6. 决定是否公开。 私有评测默认不公开；申请正式榜时，经复核后发布成绩、版本和公开状态。

防刷榜与防过拟合#

DexLab 的 v0 设计参考 RoboDojo 的评测完整性协议及其在 2026-10-31 检查的公开仓库提交 f57e163，采用与公开可复现 benchmark 兼容、但更强调接触有效性的验证策略：

  • 官方计分。 正式成绩由 DexLab 执行，不接受客户端计算结果、截图或自报日志。

  • 公开集用于复现。 已发布任务和配置允许团队检查与本地迭代。

  • 隐藏验证集用于防过拟合。 正式榜另用未公开场景变化检查硬编码、固定坐标和针对公开布局的手工调参；隐藏集用于一致性验证，不替代公开主集。

  • 固定预算。 每个条目的 seeds、重复次数、超时和资源上限预先冻结，不能从多次尝试中挑选最好结果。

  • 保留全部尝试。 基础设施失败、模型失败、超时和无效运行分别记录；除预先定义的平台错误外不自动重跑。

  • 固定系统。 一个榜单项必须使用同一 checkpoint 和同一推理流程完成所有任务，不允许按任务暗中路由到不同模型或不同 checkpoint。

  • 技术复核。 检查适配器、动作接口、重复模型、最小改动变体和异常任务选择；复核材料不得包含未授权凭据。

  • 保留公开纠错。 若任务、评分器或资格规则改变，新成绩进入新 cohort，旧结果与分母保留。

隐藏验证集能降低公开场景过拟合，但不能证明模型在真实世界中泛化。安全关键场景仍需真实机器人、材料和独立测量。

local、official verified 与 reproducible#

榜单和报告使用三个不同状态：

状态

含义

是否可上榜

local / unverified

团队自行运行；可用于开发，但未证明使用官方任务、预算或评分

否

official verified

DexLab 在冻结 cohort 中官方执行并通过接口、泄漏和反刷榜检查

是

reproducible

在 official verified 基础上，团队公开可部署描述、配置、结果说明和足够的外部复核材料

可显示独立徽章

“官方执行但原始数据私有”可以作为 verified 成绩，但不能称为外部可复现。是否公开模型权重、代码、原始轨迹和视频由团队选择，并显示在条目上；DexLab 内部复核不等同于社区已经审查。

远程模型接口边界#

pilot 优先支持远程模型服务：

  • reset：清理会话状态，开始新回合；

  • act：接收部署时可获得的观测，返回动作或动作块；

  • health：报告模型是否已加载及当前版本；

  • 固定调用超时和动作频率；

  • 认证信息只经私密渠道传递；

  • 模型不能读取评分器状态、未来状态或只属于仿真的特权观测；

  • 所有请求量、错误、超时和版本变化进入收据。

正式接口 schema、并发协议和网络限制在执行 pilot 前冻结。仓库目前尚未发布可直接连接的托管服务端点。

现有证据能说明什么#

现有案例证明 DexLab 可以区分任务结果、记录完整性、数值一致性和物理参照。例如：

  • Wuji 双指夹球在相同控制下改变接触项后，两秒保持位移由 2.734 mm 降到 1.025 mm；

  • 海绵擦拭原版 3/3 通过、无辅助保持 0/3，通过组与失败组的最终清洁率分别约为 95.47% 与 39.92%；

  • 切割、布料和接触基准保留失败、参数与可离线复算记录。

这些是场景和评分证据，不是通用模型成绩，不用于证明某个引擎或某个模型全面更强。

申请 pilot#

请使用模型评测申请模板。公开 Issue 只写可以公开的组织、模型类型、机器人配置和评测目标，不要提交 API Key、访问令牌、私有地址、权重下载凭据或未公开数据。

当前先以人工协作方式确认接口、预算和隐私边界；自助上传、自动排程和公开 leaderboard 完成前，不会把私有请求写成已排期或已通过。