整理 | 院所计算机视觉领域科研成果
文章来源：k8凯发智汇工场 | 发布时间：2024-05-10
为加速科技成果高效转化，有助于科研项目迈向市场应用的进程，k8凯发整理了近期在计算机视觉领域的科研成果，涵盖深度学习、模型优化、动态场景理解等多个尖端方向。
PanoOcc:面向视觉三维全景分割任务的统一栅格占用表示
成果介绍：全面的三维场景感知对于自动驾驶和机器人领域至关重要。基于相机的三维感知取得了迅速开展，但过去的任务如三维目标检测、地图语义分割等，各自关注场景表示的某一方面，且表示方式不统一。研究团队希望能够探索一种统一的场景表示，使其能统一表达这些任务，并将背景和前景物体统一建模。现在基于鸟瞰图特征的方法在三维目标检测上表现出色，但由于缺失了高度和形状信息，直接应用于三维场景感知任务时性能较差。这启示需要探索适合三维场景的特征表示，这也使得三维的栅格占用表示重新受到关注。然而，与二维空间相比，三维空间更加稀疏，直接将二维鸟瞰图特征扩展到三维体素表示将带来巨大的显存和计算开销。本研究提出PanoOcc模型，将检测和分割任务联合学习，统一了检测和分割任务的输出表示。为实现高效的特征学习，设计了从粗到细的解码层结构，并探索了稀疏表示的应用。本研究进行了大量消融研究以验证有效性和效率，在基于相机的机的三维语义分割、全景分割和密集占用栅格预测等任务中都取得了先进性能。驶向未来：面向自动驾驶的多视图预测与规划的世界模型 成果介绍：最近，世界模型的概念引发了广泛关注。研究团队首次提出了一种名为Drive-WM的全新多视图世界模型，旨在增强端到端自动驾驶规划的安全性。Drive-WM模型顺利获得多视图世界模型，能够想象不同规划路线的未来情景，并根据视觉预测获取相应的奖惩反馈，从而优化当前的路线选择，为自动驾驶系统的安全给予了保障。Drive-WM是与现有端到端规划模型兼容的第一个驾驶世界模型。顺利获得视图因子分解促进的联合时空建模，k8凯发的模型在驾驶场景中生成了高保真度的多视角视频。在其强大的生成能力基础上，研究团队首次展示了将世界模型应用于安全驾驶规划的潜力。对真实世界驾驶数据集的评估验证了研究中的方法可以生成高质量、一致性和可控性的多视角视频，为真实世界的模拟和安全规划开辟了新的可能性。 图2. 自动驾驶世界模型
MemoNav: 基于类人工作记忆的视觉导航智能体 成果介绍：人类导航至多目标时，会回忆起与目标相关的地点特征，忽视其他无关区域的记忆，并利用激活的这部分局部信息来快速规划路线，无需重复探索。MemoNav借鉴人类这种工作记忆机制，结合短期记忆和长期记忆一起提升导航决策性能（图4）。其引入了遗忘机制、长期记忆、和工作记忆三个协同组件： 选择性遗忘机制由于并非所有地图结点都和导航目标有关，MemoNav提出利用目标注意力机制，计算地图结点和当前目标的注意力分数，然后暂时“遗忘”分数较低即对导航帮助不大的偏远结点，被保留的则用于下游决策。 长期记忆：为了习得场景的全局表征，智能体维护一个和所有短期记忆结点相连的全局结点作为长期记忆，不断地顺利获得图注意力机制聚合短期记忆特征。 工作记忆：利用一个图注意力机制编码保留的短期记忆和长期记忆，得到和当前导航任务最相关的工作记忆，输入给下游策略模块以得到最终导航行为。 在Gibson和Matterport3D场景中，该方法的多目标导航性能大幅超越SoTA模型。定性实验显示其可以规划更快捷的路径，且死锁概率更小（图5）。 图4. MemoNav借鉴人脑工作记忆的导航模型。MemoNav顺利获得注意力机制选择与当前导航目标相关的短期记忆（即地图结点）和长期记忆（即全局结点）一起生成工作记忆，用于下游决策。
本文整理的计算机视觉领域的项目，共计35个。因篇幅有限，只展示了部分项目情况。若需获取所有项目介绍。可联系下方微信助手小智。
