返回专辑
·Johan·4 分钟阅读

ATE 与 RPE:对齐方式决定结论

SE(3)/Sim(3) 对齐差异、segment length 与 evo 误用;无回环系统该看哪个指标。

ATE 与 RPE:对齐方式决定结论

1. ATE 0.05 m 说明不了什么

单目 VO 用 Sim(3) 对齐后 ATE 极漂亮,RPE 漂移率却很差——我见过;有回环后 ATE 改善八成,RPE 不动,说明回环只「拉直」轨迹、局部前端仍差。数字 alone 无意义,必须先搞清对齐方式指标定义,否则 ablation 和竞品对比都是自说自话。论文表格里只放 ATE 而不写 align,在单目场景下几乎等于误导。

2. ATE:绝对轨迹误差

时间对齐后,逐帧位姿误差 。常用平移 RMSE:

估计轨迹与真值在不同坐标系——须先做对齐:双目/LiDAR/VIO 用 SE(3);单目 必须 Sim(3),否则尺度漂移被算进平移,ATE 虚假乐观。yaw-only 或 origin-only 对齐在 2D 导航里常见,须显式声明,勿与 6-DOF 数字混比。evo_ape--align--correct_scale 写进报告,否则他人无法复现你的数字。

3. RPE:相对位姿误差

局部一致性——帧 相对运动:

RPE 对漂移率敏感、对全局原点不敏感。纯里程计(无回环)、激光 odometry、VIO 短时精度应主看 RPE。segment length(1 m / 10 m 或固定帧间隔)必须报出——不同 length 数字不可比。segment 越长,累积漂移越显;报「RPE 0.02」却不写 @ 1 m 还是 @ 10 m,等于没报。对比竞品时 segment 与 align 必须一致,否则数值不可比。

4. 什么时候看哪个

系统主指标
无回环 VO/LORPE
有回环 SLAMATE + RPE
单目Sim(3) ATE + RPE
2D 导航平移 + yaw

有回环后 ATE 改善是预期;RPE 未改善说明前端质量没跟上——别用 ATE 单独宣告「算法大幅提升」。无 GT 时可用重投影误差、点云一致性作替代,但须在报告里说明无法做绝对对齐。

5. evo 与常见误用

bash
evo_ape euroc groundtruth.csv estimate.csv -va --plot
evo_rpe euroc groundtruth.csv estimate.csv -va --delta 1 --delta_unit m

误用清单:时间戳错配(t_max_diff 过大,错帧配对);单目用 SE(3);只报 best run(随机算法跑五次取最好);跟踪丢失标 FAIL 而非跳过整条序列;2D 机器人报 6-DOF ATE 但 GT 只有 x,y,yaw。EuRoC 应用 euroc 格式,TUM 用 tum——格式错会导致静默错配。复现他人结果时,先对齐 evo 版本与 --align 参数。

6. 除 ATE/RPE 还应看什么

初始化时间、跟踪丢失比例、回环正确率 vs 误回环、计算延迟与实时性。EuRoC 上 ATE 0.03 m 但初始化 30 s、丢两次跟踪——工程上不如 ATE 0.08 m 但 100% 成功的系统。地图质量(重投影、子图一致性)在无 GT 时尤其重要。写论文式表格时,Success rate 与 Mean ATE 应并列,勿只报 mean 而隐藏失败序列。

7. 报告模板

text
Dataset: EuRoC MH  |  Align: SE(3)  |  RPE @ 1 m segment
Seq       ATE(m)   RPE(m/m)   Status
MH_01     0.04     0.02       OK
MH_05     -        -          LOST @ 89s
Success: 10/11  |  Mean ATE (success only): 0.06

失败序列进表、给 LOST 时间点,比 silently 删序列诚实得多。Mean 只算 success 须在表头写明,否则读者会误以为全序列平均。

8. 案例:Sim3 掩盖的单目尺度问题

同一 TUM-VI 序列,SE(3) 对齐 ATE 0.08 m,Sim(3) 对齐 0.03 m——若只报后者而不写 align 模式,会误以为尺度已可观。对照 RPE @ 10 m 段,漂移率并未改善。评测报告里 align 模式应和 ATE 数字同屏出现,否则读者无法复现结论。

9. 验收

  • 同一轨迹换 SE(3)/Sim(3) 对齐,单目 ATE 应有量级差异;
  • RPE 随 segment 变长应单调恶化(纯里程计);
  • 时间对齐后帧数与 GT 覆盖率一致;
  • 失败序列进表并标注 LOST 时刻。

评测是 SLAM 的「单元测试」——对齐错了,所有 ablation 都是在比噪声。对外发布 benchmark 结果时,把 evo 命令行与 align 模式附在附录,他人才能在一小时内复现你的表格。RPE segment 与 ATE align 写错一个,整表结论可能反转。内部周报建议固定模板:Dataset / Align / RPE segment / Success rate 四行必填。无 GT 场景须另报重投影或子图一致性,勿硬凑 ATE。对比两篇论文时,先对齐 evo 版本与 associate 策略再比数字。

← 全部文章

johan's blog