ORB 特征流水线：从金字塔到词袋的工程细节

1. ORB 不是魔法，是流水线契约

ORB 是我接触视觉 SLAM 的第一站——不是因为它最好，而是 ORB-SLAM 证明了「足够好的特征 + 足够好的后端」可以产品化。金字塔层数、特征数上限、四叉树均匀化、词袋阈值，每个参数在弱纹理和高速场景里决定跟踪是稳还是挂。改参数前先理解 ORBextractor.cc 每步在干什么。

2. 流水线概览

text

图像 → 高斯金字塔 → FAST 角点 → 四叉树均匀化 → orientation → BRIEF 描述子
                                                              ↓
                                                    匹配（汉明距离 + 比率测试）
                                                              ↓
                                                    DBoW2 词袋 → 回环/重定位

3. 金字塔与 FAST 检测

构建 nLevels 层高斯金字塔（通常 8 层，尺度因子 1.2）。每层跑 FAST 角点，阈值 iniThFAST / minThFAST 自适应：某层特征不足 → 降 FAST 阈值重检；仍不足 → 该层贡献少，跟踪质量下降。nFeatures 是总上限（如 1200）——不是越多越好，匹配与 BA 计算量线性涨；800–1500 是常见范围。

运动模糊时 FAST 响应弱，多层都检不出角点 → 跟踪丢失。这比调阈值更根本——需要更高快门、更亮光照、或 IMU 辅助预测匹配窗口。

4. 四叉树均匀化

FAST 天然偏向纹理丰富区域（海报、标签、窗框）。四叉树 DistributeOctTree 把图像分 cell，每 cell 保留响应最强的若干特征，保证空间分布均匀。没有均匀化：特征全挤左上角 → 右半边运动估计不可观 → 位姿漂移。对 SLAM 精度影响常被低估。

5. Orientation、BRIEF 与匹配

每个特征点算 intensity centroid 方向，BRIEF 采样模式旋转对齐——保证小角度旋转不变性。256-bit BRIEF，匹配用汉明距离（XOR + popcount），比 L2 快一个数量级。

匹配策略：比率测试 d_{\text{best}} / d_{\text{second}} < 0.8；旋转一致性检查；双目/stereo 在极线上搜索。前端传给 BA 的不只是像素坐标——还有 octave、angle、uncertainty。octave 错一档，金字塔层权重就错，Local BA 在错误尺度上收敛。

6. 词袋（DBoW2）与跟踪门控

离线训练词汇树（ORBvoc.txt），在线描述子量化到最近 word ID，图像变 bag-of-words 向量。用途：回环候选检索（倒排索引）；重定位（跟踪丢失后在词袋数据库里找匹配）。minScore、minScoreRelocalization 决定召回 vs 误召回——仓库/走廊相似外观多，阈值宁高勿低，误召回代价是误回环。EuRoC 训练的 vocab 直接用于工厂，召回率可能下降；有条件应在目标环境重训。

ORB-SLAM 用 nTrackedFeatures 做状态机：足够特征 → OK；减少 → 尝试 relocalization；持续不足 → LOST。特征数 < 50 时 PnP 内点率极低，硬更新只会污染地图——应有明确 LOST 状态与恢复流程。

7. 参数调优

场景	建议
弱纹理（白墙）	增 `nFeatures`，降 FAST 阈值，考虑 IMU
高速运动	缩短曝光，增金字塔层数，IMU 预测窗口
大视场鱼眼	边缘畸变大，均匀化更关键
嵌入式	降 `nFeatures` 到 600–800

8. 与 IMU 预测的衔接

高速场景下，IMU 积分给帧间位姿初值，缩小匹配搜索窗口。ORB 默认暴力匹配在 1200 特征 × 1200 地图点时耗时可到 10 ms+；有 IMU 预测可把搜索限制在旋转/平移邻域。若 IMU 外参或 $t_{d}$ 错，预测偏了反而匹配更差——前端问题有时根在后端标定。

弱纹理场景增 nFeatures 到 1500 仍不够时，考虑辅助线特征或 RGB-D 深度约束——ORB 不是万能，知道何时换前端比继续降 FAST 阈值重要。

9. 验收

每帧特征数（总数 + 各层分布）
匹配内点率
跟踪状态切换频率（OK → LOST）
词袋检索 top-1 score 分布
重定位成功率与耗时
octave 分布与地图点 depth 分布一致性
特征提取 + 匹配耗时 vs 跟踪帧率

ORB 流水线把「每帧能提多少可靠约束」变成可量化的前端输出。前端契约崩了，后端 BA 再精致也只是在噪声上收敛。