天天看点

从图像到视频分割,Meta推出“分割一切”2.0模型,开源代码数据

还记得Meta的“分割一切模型”吗?这个去年4月发布的模型,在传统计算机视觉任务中掀起了巨大波澜。时隔一年多,Meta在SIGGRAPH大会上重磅推出了Segment Anything Model 2(SAM 2),不仅开源,还带来了诸多革命性进展。

从图像到视频分割,Meta推出“分割一切”2.0模型,开源代码数据

SAM 2不仅在图像分割上有卓越表现,更首次拓展到了视频分割领域。它能够实时处理任意长度的视频,即使是未曾见过的对象也能轻松分割和追踪。这一模型的架构采用了创新的流式内存设计,使其能够按顺序处理视频帧,特别适合实时应用。

从图像到视频分割,Meta推出“分割一切”2.0模型,开源代码数据

与前代相比,SAM 2的图像分割准确率进一步提升,同时在视频分割性能上也超越了现有工作,所需的交互时间缩短至原来的1/3。Meta表示,这项进步表明了整个行业在计算效率上的巨大提升,即使在没有数据中心的情况下也能运行。

从图像到视频分割,Meta推出“分割一切”2.0模型,开源代码数据

Meta此次开源的数据集规模庞大,包含约51,000个真实世界视频和超过600,000个时空掩码(masklets),视频数量比现有最大的数据集多4.5倍,注释数量多53倍。这个数据集SA-V在CC BY 4.0许可下发布,可以用于商业性质的修改或分发。

SAM 2同样遵循Apache 2.0许可协议,代码和模型权重已经开源,并根据BSD-3许可分享评估代码。

Meta还提供了一个在线试玩的Web demo,任何人都可以体验这个实时、交互式的视频分割功能。

从图像到视频分割,Meta推出“分割一切”2.0模型,开源代码数据

SAM 2的构建历程

SAM 2的开发旨在实现对图像和视频的通用分割。相较于静态图像,视频中对象的运动、变形和遮挡等挑战更大。

Meta将图像视为单帧视频,以此统一处理图像和视频输入。

从图像到视频分割,Meta推出“分割一切”2.0模型,开源代码数据

在开发过程中,Meta设计了一个新的任务,即可提示的视觉分割任务。SAM 2 可以在视频的任意帧中通过输入提示定义目标对象的时空掩码(masklet),并实时生成分割结果。通过这种方法,SAM 2 可以在视频中准确跟踪对象。

为了支持这一功能,Meta创建了全新的SA-V数据集,规模是现有最大视频分割数据集的数倍。这个数据集帮助Meta训练SAM 2,实现了在视频分割上的最先进性能。Meta的方法不仅提升了分割的准确性,还使得对象选择和分割更加便捷。

SAM 2的独特之处在于其对视频对象分割的支持。模型能接收点、框或掩码作为输入提示,然后生成目标对象的分割结果。通过输入更多提示,分割结果可以进一步精细化,直到达到预期效果。

图像与视频分割的统一架构

SAM 2的架构从图像分割扩展到视频分割。用户可以通过点击、边界框或掩码来提示模型识别目标对象。SAM 2的轻量级掩码解码器接收当前帧的图像嵌入和编码提示,输出该帧的分割掩码。

从图像到视频分割,Meta推出“分割一切”2.0模型,开源代码数据

在视频分割中,SAM 2会将该帧的分割结果传播到整个视频,生成时空掩码(masklet)。若有进一步提示,模型能更新其预测。为此,SAM 2引入了记忆机制,包括记忆编码器、记忆库和记忆注意模块。

记忆编码器基于当前的分割预测创建帧的记忆,并存储在记忆库中。每个新处理的帧,SAM 2使用记忆注意模块关注目标对象的过去记忆,生成嵌入并用于掩码解码器。这样,模型能实时处理任意长度的视频。

此外,SAM 2还具备应对视频分割中的歧义能力。例如,若用户点击自行车的轮胎,模型会输出多个分割结果,以应对轮胎或整辆车的分割需求。当物体暂时被遮挡时,SAM 2的遮挡头会预测目标对象是否在当前帧可见,从而有效处理遮挡问题。

从图像到视频分割,Meta推出“分割一切”2.0模型,开源代码数据

SA-V:构建最大的视频分割数据集

为了扩展“分割一切”的能力至视频领域,Meta建立了SA-V数据集,克服了现有数据集缺乏多样性和注释不足的挑战。现有的数据集通常仅覆盖完整对象,缺乏对对象部件的注释。

从图像到视频分割,Meta推出“分割一切”2.0模型,开源代码数据

SA-V数据集的构建过程采用了互动模型闭环的方式。人类注释员使用 SAM 2进行视频中的 masklet 注释,生成的数据又用于更新 SAM 2。这个循环过程极大提高了模型和数据集的质量。

使用SAM 2的注释速度是原来的8.4倍,这比单独使用SAM或结合现成的跟踪器更快。最终,SA-V数据集包含超过51,000个视频和超过600,000个masklet注释。

SA-V数据集的特点包括:覆盖全球47个国家的地理多样性视频,注释范围包括完整对象、对象部件及复杂场景,例如对象被遮挡、消失或重新出现的情况。

从图像到视频分割,Meta推出“分割一切”2.0模型,开源代码数据

卓越表现与测试结果

SAM 2相比前代在视频对象分割中表现卓越。在初始化时,SAM 2能准确跟踪对象部位,而基线模型则容易过度分割,如将人的头部包含在内。

从图像到视频分割,Meta推出“分割一切”2.0模型,开源代码数据

通过将图像视为单帧视频,Meta联合训练了SAM 2,用于图像和视频分割。使用的数据集包括去年发布的SA-1B图像数据集、SA-V数据集以及内部授权的视频数据集。

从图像到视频分割,Meta推出“分割一切”2.0模型,开源代码数据

在17个零样本视频数据集上,SAM 2显著超越了先前的方法,所需的人机交互次数减少三倍。

从图像到视频分割,Meta推出“分割一切”2.0模型,开源代码数据

在23个数据集的零样本基准测试中,SAM 2表现优于SAM,速度快六倍。

在DAVIS、MOSE、LVOS和YouTube-VOS等现有视频对象分割基准中,SAM 2的表现优于之前的最先进模型。此外,SAM 2的推理速度接近实时,约为每秒44帧。

从图像到视频分割,Meta推出“分割一切”2.0模型,开源代码数据

在视频分割注释时,SAM 2 的效率比逐帧手动注释快8.4倍。此外,为确保公平性,Meta评估了模型在不同人口群体中的表现,结果显示在性别和年龄组之间表现差异较小。

SAM 2的局限性

尽管SAM 2在图像和短视频分割上表现出色,但在复杂场景中仍有提升空间。对于剧烈视角变化、长时间遮挡或拥挤场景,模型有时会失去目标对象。

在处理长视频时,SAM 2有时会混淆相似的对象,如在拥挤场景中。针对这些情况,用户可以通过在任意帧中点击修正目标对象,从而恢复准确的分割。

从图像到视频分割,Meta推出“分割一切”2.0模型,开源代码数据

对于同时分割多个对象,SAM 2的效率显著下降。模型缺乏对象间的通信,仅使用共享的每帧嵌入来处理。这一限制影响了分割效率和精度。

对于快速移动的复杂对象,SAM 2可能错过细节,导致预测不稳定。通过增加更多的提示可以部分解决这一问题,但无法完全消除帧间的抖动。这表明模型的时间平滑性有待改进。

从图像到视频分割,Meta推出“分割一切”2.0模型,开源代码数据

未来应用

SAM 2不仅限于现有的应用,还可以作为更大AI系统的一部分,未来可用于增强现实眼镜识别日常物品,为用户提供提示和指导。

Meta 鼓励 AI 社区下载模型、使用数据集,并尝试演示,推动通用视频和图像分割的发展。期待社区创造出新的洞察和有用的体验。

从图像到视频分割,Meta推出“分割一切”2.0模型,开源代码数据

如果你觉得这篇文章对你有所帮助,欢迎点赞、收藏以及转发分享。同时,请关注我,以获取更多关于人工智能的最新资讯和见解!

参考

继续阅读