695 字
3 分钟
从 V4L2 到图像消息:相机接入检查笔记
机器人感知模块接入相机时,图像“能显示”只是第一步。后续算法还依赖稳定的格式、时间戳和标定信息。以下是从相机驱动设计笔记中抽出的通用检查顺序,具体设备节点、分辨率与帧率都需要以实际硬件查询结果为准。
先确认采集端实际输出
Linux V4L2 采集通常从查询设备能力开始,再设置像素格式和分辨率,并回读驱动最终接受的参数。设置请求与实际生效值可能不同,因此不能只依赖配置文件里的期望值。
采集链路可以拆成四步:
- 查询设备支持的采集方式、像素格式和尺寸。
- 设置目标参数并回读生效结果。
- 分配缓冲区,持续取帧、处理并归还缓冲区。
- 记录丢帧、取帧耗时与退出时的资源释放情况。
这是一条实现思路,并非可直接运行的驱动教程。设备节点和缓冲策略应在目标板卡上确认。
区分采集格式与发布格式
相机或图像处理单元可能输出 NV12、UYVY 等格式,而下游节点希望拿到 RGB8 或 BGR8。转换会增加处理开销,也可能改变色彩解释方式。接口设计时需要明确原始格式、消息里的 encoding、每行步长以及是否发生过拷贝或压缩。
如果采集与发布帧率不一致,要判断瓶颈在取帧、转换、编码还是消息传输。单看最终帧率无法定位原因。
时间戳和标定信息要成对检查
图像消息与相机标定消息应使用一致的坐标系标识,并能关联到同一帧的采集时间。使用系统时间代替设备时间时,需要明确两者的差异;多传感器融合还要检查时钟同步和时间偏移。
标定文件中的分辨率、内参和畸变系数需要与当前采集模式对应。切换裁剪、缩放或分辨率后,应重新核对标定数据,不能沿用一个看似相近的配置。
留给验证的清单
- 回读的格式、尺寸和帧率是否与发布消息一致?
- 图像与标定消息能否按时间戳和坐标系对应?
- 持续采集时是否出现丢帧、缓冲区堆积或资源泄漏?
- 分辨率变化后,标定参数是否仍适用?
这些问题需要在具体软硬件环境中测量。本文只整理检查方法,不对某个设备或系统的兼容性、性能作结论。
从 V4L2 到图像消息:相机接入检查笔记
https://www.navic.cn/posts/camera-data-pipeline-notes/