向量相似度检索在智能驾驶领域的应用

行业内智能驾驶技术发展到一定阶段既会存在数据挖掘的挖掘的需求，尤其针对边缘case的挖掘，如何利用互联网技术实现智能驾驶场景的挖掘是我刚入智能驾驶行业遇见的首要问题。

背景

智能驾驶领域的数据挖掘大致可分为两种：

• 面向感知领域的静态场景挖掘，例如：路面反光场景、眩光场景、镜头脏污场景、异型车、隧道场景、树荫遮挡场景、带草砖路面场景、高架场景等。
• 面向决策规控的动态场景挖掘：构造基于规则的DSL语言实现行为挖掘，例如：左变道、超车、加速、减速、掉头等。

本文借用基于向量相似度检索技术实现以图搜图、以文搜图等技术，并赋能智能驾驶场景挖掘，这对静态稀有场景的挖掘至关重要。实践证明以图搜图技术较适合图片中大粒度特征的数据挖掘，例如‘带草砖的车位’、‘树荫挖掘’等，针对地锁、锥桶等小目标采用相似度检索技术仍是业界难题，针对小目标的挖掘较适合用YOLO系列的模型，或者使用clip模型。

技术架构

技术栈选型：

1. 图像特征提取：模型DinoV2，解决大面积场景挖掘，例如，积水、夜晚、草砖车位等；

2. 向量数据库：Milvus；

3. 图像识别：图文多模态模型，解决通用常见目标识别，例如积雪、积水路面、停车场、隧道等；