眼境

路测车每天带回几百段接管录像。眼境替工程师一段段看完,把能确认的画面框出来,整理成一张可以审核的分诊单。

合成演示视觉 · 非真实路测画面

示例 · 路测-017

看它怎么处理一次接管

一段 8 秒的山路录像,安全员在 63.2 秒接管了车辆。下面每一步用到的画面都在左边。数据为演示用。

CAM-F 前视 · 1920×1080
t = 56.0s
输入校验
场景包 av-takeover v1.2
● 接管 · offset_ms 63 200
ev5


01 输入

先检查录像能不能用

录像可以从车机直接拉取,也可以手动上传。分析前先核对四项:有没有授权、能否解码、文件有没有被改过、接管时间点在不在片段里。有一项不过,就不往下走。

来源检查示意数据
  • 来源车机直连(SAF 持久授权)✓ 已授权
  • 片段1920×1080 · 56.0–64.0s✓ 可解码
  • 校验和sha256 9f3a…c41e✓ 一致
  • 接管标记offset_ms = 63 200 · 人工标记✓ 在范围内

02 取证

按事件类型去找证据

这是一次弯道来车接管,要看的是来车轨迹、横向距离和自车车道。系统在接管前 3 秒里抽了 6 帧逐帧看。中间模型引用了一帧片段里没有的画面,这次回答被拒收,重答了一遍。

调查时间线示意数据
  1. 00.0splan 类型 = 弯道来车接管 · 需要:来车轨迹 / 横向距离 / 自车车道
  2. 01.2sextract_frames ×6 ✓ 60.0–63.6s
  3. 03.8sobserve(前视) ✓ 6 帧 · 1 个目标
  4. 05.1sobserve 引用 frame_99 ✗ 片段里没有这一帧 → 拒收,自动重答
  5. 06.9sobserve 重答 ✓ 引用 ev3、ev4
  6. 07.4scheck_rules R10 命中 · R03 两个原因并列
  7. 07.5sgrade 严重度 = 重大 → 进入待审核
7 次调用18.2k tokens耗时 7.5s预算上限 50k

03 结论

看到的和推测的分开写

画面里直接能看到的、模型推测的原因、缺数据需要人判断的,各放一栏。点 标签可以看到对应的那一帧。

画面事实 画面可见

  • 弯道远端出现一辆白色轿车
  • 该车驶出弯道,向自车方向靠近
  • 接管时目标框面积约为 1.2 秒前的 5.6 倍

模型推断 两个原因并列

  • 来车越线切入自车路线 证据:中
  • 规划对弯道盲区来车预判不足 证据:弱

待人工确认 缺数据

  • 自车当时是否已减速 — 无 CAN 车速信号
  • 来车是否压过中心线 — 中心线被车身遮挡
一张极暗、模糊的夜间画面示意

看不清就不判比如夜里镜头上有水滴的片段,结果会直接标“不确定”,转给人看(规则 R02)。

04 审核

由工程师拍板

系统只生成审核单,不会自己往外发。工程师可以确认、改判或驳回;确认后,结果按缺陷系统要的字段推过去,审批记录写进审计日志。

审核单 · run_7f2c待审核
严重度
重大
分派
规划团队
建议回归
是

POST 研发缺陷系统(模拟)/defects202 Accepted

              

05 扩展

换一套配置,做别的视频任务

输入、规则、输出格式都写在配置里。同一段录像换成“视频中译英”的配置,输出就从缺陷工单变成中英字幕,分析引擎不用改。

场景包配置示意数据
输入源 车机直连 · 同一段录像不变
业务规则 av-takeover v1.2 · R01–R10
下游 Schema 研发缺陷工单 · JSON
引擎 engine 0.4不变
交付物 · 缺陷工单1 条

拿一段自己的录像试试

工作台里有预置样例,也可以直接上传。

进入工作台