黑科技问世：视频中人物一键消除，特效制作更便利

学习知识要善于思考，思考，再思考！今天golang学习网小编就给大家带来《黑科技问世：视频中人物一键消除，特效制作更便利》，以下内容主要包含等知识点，如果你正在学习或准备学习科技周边，就都不要错过本文啦~让我们一起来看看吧，能帮助到你就更好了！

来自南方科技大学的这款视频分割模型，可以追踪视频中的任意事物。

不仅会“看”，还会“剪”，从视频中去掉个人，对它来说也是轻轻松松的事。

而操作上，你唯一需要做的就是点几下鼠标。

这位特效艺术家看到消息后仿佛找到了救星，直言这一产品将改变CGI行业的游戏规则。

这款模型叫做TAM（Track Anything Model），是不是和Meta的图像分割模型SAM名字很像？

的确，TAM就是将SAM扩展到了视频领域，点亮了动态物体追踪的技能树。

视频分割模型其实不是新技术了，但传统的分割模型并没有减轻人类的工作。

这些模型使用的训练数据全部需要人工标注，甚至在使用时还需要先用特定物体的遮罩参数进行初始化。

SAM的出现为解决这一问题提供了前提——至少初始化数据不再需要人工获取。

当然，TAM也并不是逐帧使用SAM再叠加，还需要构建对应的时空关系。

团队将SAM与名为XMem的记忆模块进行了集成。

只需要在第一帧中用SAM生成初始参数，XMem便可以指导接下来的追踪过程。

追踪的目标还可以是很多个，比如下面的清明上河图：

甚至场景发生改变，也不影响TAM的表现：

我们体验了一番发现，TAM采用了交互式用户界面，操作上十分简单友好。

硬实力方面，TAM的追踪效果的确也不错：

但是，消除功能在一些细节上的精确度还有待提高。

从SAM到TAM

前文已经提到，TAM是在SAM的基础之上结合记忆能力建立时空关联实现的。

具体而言，第一步是借助SAM的静态图像分割能力对模型进行初始化。

只需一次点击，SAM就能生成目标物体的初始化遮罩参数，代替了传统分割模型中的复杂初始化过程。

有了初始参数，团队就可以将它交给XMem，进行半人工干预训练，大大减少了人类工作量。

在这一过程中，会有一些人工预测结果被用于和XMem的输出进行比较。

实际过程中，随着时间的增长，得到准确的分割结果对XMem变得越来越困难。

当结果与预期差距过大时，将进入再分割环节，这一步还是由SAM完成。

经过SAM的再优化，大部分输出结果已比较准确，但还有一部分需要人工再调整。

TAM的训练过程大致就是这样，而开头提到的物体消除的技能是TAM与E²FGVI结合形成的。

E²FGVI本身也是一个视频元素消除工具，在TAM精准分割的加持下，其工作更加有的放矢。

为了测试TAM，团队使用了DAVIS-16和DAVIS-17数据集对其进行了评估。

直观感受还是很不错的，从数据上看也的确如此。

TAM虽然无需手工设置遮罩参数，但其J（区域相似度）和F（边界准确度）两项指标已十分接近手工模型。

甚至在DAVIS-2017数据集上的表现还略胜于其中的STM。

其他初始化方式中，SiamMask的表现根本无法和TAM相提并论；

另一种名为MiVOS方法虽然表现好于TAM，但毕竟已经进化了8轮……

团队简介

TAM来自南方科技大学视觉智能与感知（VIP）实验室。

该实验室研究方向包括文本-图像-声音多模型学习、多模型感知、强化学习和视觉缺陷检测等。

目前团队已发表论文30余篇，获得专利5项。

团队领导人是南方科技大学郑锋副教授，博士毕业于英国谢菲尔德大学，先后供职于中科院深研院、腾讯优图等机构，于2018年进入南科大，2021年晋升为副教授。

论文地址：
https://arxiv.org/abs/2304.11968
GitHub页面：
https://github.com/gaomingqi/Track-Anything
参考链接：
https://twitter.com/bilawalsidhu/status/1650710123399233536?s=20

以上就是《黑科技问世：视频中人物一键消除，特效制作更便利》的详细内容，更多关于视频,黑科技的资料请关注golang学习网公众号！