Benchmark 与独立验收#
分开回答两个问题#
物理误差： 对同一真实物体和输入，用相同标定集识别允许参数，再在独立实测工况上比较误差。没有真机数据时不能填真实误差。
工程表现： 固定任务分布、控制器和调参预算，在独立场景上报告任务表现、稳定性及误差—成本曲线。相同墙钟和相同配置评估次数不是同一预算。
必须记录什么#
维度 |
指标与覆盖 |
|---|---|
几何 |
独立参考相交/侵入量、最大值、超限持续时间；注明壳厚、采样和几何近似 |
载荷 |
原生力/冲量、支撑分配、动量残差；注明坐标系、作用物体和时序 |
滑移 |
有材料点对应才能报告材料滑动；腕部相对位移与滚动另列 |
稳定性 |
首次异常、漂移、振荡、接触间断、求解器告警与发散 |
任务 |
阶段完成、持续保持、释放和失败原因；曾成功、末帧成功与持续成功分开 |
成本 |
构建/JIT、原生步进、控制/读取、渲染、评分、传输分别计时 |
阈值应来自任务尺度、容差和测量不确定性，先登记再评估。主比较中控制器固定，不能靠放宽阈值、隐藏附着或删除困难场景制造成功。
数据与统计#
标定/开发、验证和正式测试分开；按物体、材料批次和会话划分，不把同一轨迹的帧当独立样本。各引擎共享实际初态与动作清单，同 seed 不证明同初态。报告全部预登记分母、失败、超时、不支持及统计区间。
正式测速暂停本队列的传输、压缩与哈希校验。低优先级不是资源硬上限；离线加载模型也可能很重。未取得隔离窗口时，结果标为受干扰。