新视频分割技术SAM 可高效识别移动物体

4月23日 消息:在视频分割领域，Segment Anything 模型（SAM）被用于探索新的视频对象分割技术。研究团队测试了两种不同的模型，旨在结合 SAM 的分割能力和光流技术的优势，以提高视频分割的性能。

SAM 与光流结合的模型:第一种模型中，研究者对 SAM 进行了修改，使其能够直接使用光流数据作为输入，而非传统的 RGB 图像。光流数据能够提供关于图像中物体运动的信息，这对于分割和识别移动物体特别有用。

SAM 与 RGB 图像结合的模型:第二种模型则保持了 SAM 使用 RGB 图像作为主要输入的方式，但引入了光流数据作为辅助提示，以增强模型对视频中物体运动的识别和分割能力。

这两种方法都展示了在视频对象分割任务中的潜力，即使没有进行复杂的修改或优化，也已经在单对象和多对象的视频基准测试中取得了显著的性能提升。

此外，研究者还探索了将这些基于帧的分割方法扩展到整个视频序列上，以实现对同一物体在视频连续帧中的身份进行追踪。这种序列级别的分割技术能够连续地识别和追踪视频中的特定对象，即使在物体运动、场景变化或光照条件变化的情况下也能保持一致性。

这些研究成果不仅提升了视频分割的精度和效率，而且通过简化模型的设计，降低了计算复杂度和资源消耗，使得实时视频分割和物体追踪变得更加可行。这些技术的进展对于视频编辑、安防监控、自动驾驶车辆的视觉系统以及许多其他应用场景都具有重要意义。

目前，具体的技术细节、模型性能指标以及未来的研究方向尚未详细公布，但这些初步的研究成果已经为视频分割技术的发展提供了新的方向和可能性。

演示页面：https://www.robots.ox.ac.uk/~vgg/research/flowsam/