当前位置:首页 > 文章列表 > 科技周边 > 人工智能 > 阿里再次创新:通过一句话和人脸即可实现《擦玻璃》舞蹈,服装背景自由切换!

阿里再次创新:通过一句话和人脸即可实现《擦玻璃》舞蹈,服装背景自由切换!

来源:51CTO.COM 2023-12-14 13:27:55 0浏览 收藏

欢迎各位小伙伴来到golang学习网,相聚于此都是缘哈哈哈!今天我给大家带来《阿里再次创新:通过一句话和人脸即可实现《擦玻璃》舞蹈,服装背景自由切换!》,这篇文章主要讲到等等知识,如果你对科技周边相关的知识非常感兴趣或者正在自学,都可以关注我,我会持续更新相关文章!当然,有什么建议也欢迎在评论留言提出!一起学习!

阿里巴巴又一篇名为“舞蹈整活儿”的论文在AnimateAnyone之后引起了轰动

现在,只要上传一张脸部照片并简单描述一句话,就可以在任何地方跳舞啦!

例如下面这段《擦玻璃》的舞蹈视频:

阿里再次创新:通过一句话和人脸即可实现《擦玻璃》舞蹈,服装背景自由切换!图片

您需要做的就是上传一张人像照片,以及填写相应的提示信息

在秋天的金色树叶中,一个女孩穿着浅蓝色的连衣裙微笑着跳舞

随着提示的变化,人物的背景和衣服也会相应地改变。比如,我们可以再换几句话:

一个女孩在木屋里微笑着跳舞,她身穿着毛衣和长裤

一个女孩,微笑着,在时代广场跳舞,穿着连衣裙般的白衬衫,长袖,长裤。

阿里再次创新:通过一句话和人脸即可实现《擦玻璃》舞蹈,服装背景自由切换!图片

这便是阿里最新的一项研究——DreaMoving,主打的就是让任何人、随时且随地地跳舞。

阿里再次创新:通过一句话和人脸即可实现《擦玻璃》舞蹈,服装背景自由切换!图片

而且不仅是真人,就连卡通动漫人物也都是可以hold住的哦~

阿里再次创新:通过一句话和人脸即可实现《擦玻璃》舞蹈,服装背景自由切换!图片

项目一出,也是引发了不少网友的关注,有人在看过效果之后直呼“Unbelievable”~

阿里再次创新:通过一句话和人脸即可实现《擦玻璃》舞蹈,服装背景自由切换!图片

那么这个结果是如何实现的呢?这项研究是如何进行的呢?

背后原理

虽然像稳定视频传播(Stable Video Diffusion)和Gen2等文本到视频(text-to-video,T2V)模型的问世,已经在视频生成领域取得了重大突破,但目前仍面临着许多挑战

例如,在数据集方面,目前缺乏开源的人类舞蹈视频数据集以及难以获得相应的精确文本描述,这就使得让模型们去生成多样性、帧一致性、时长更长的视频成为挑战

并且在以人为中心的内容生成领域,生成结果的个性化和可控性也是关键因素。

阿里再次创新:通过一句话和人脸即可实现《擦玻璃》舞蹈,服装背景自由切换!图片

为了应对这两个挑战,阿里团队首先开始处理数据集

研究者们首先从互联网收集了约1000个优质的人类舞蹈视频。然后,他们将这些视频切割成约6000个短视频(每个视频8至10秒),以确保视频片段中没有转场和特效,有利于时间模型的训练

此外,为了生成视频的文本描述,他们使用了Minigpt-v2作为视频字幕器(video captioner),特别采用了“grounding”版本,指令是详细描述这个帧。

通过基于关键帧中心帧生成的字幕,可以准确地描述视频片段的主题和背景内容

在框架方面,阿里团队则是提出了一个名叫DreaMoving、基于Stable Diffusion的模型。

它主要由三个神经网络来构成,包括去噪U-Net(Denoising U-Net)、视频控制网络(Video ControlNet)和内容引导器(Content Guider)。

阿里再次创新:通过一句话和人脸即可实现《擦玻璃》舞蹈,服装背景自由切换!图片

其中,Video ControlNet是在每个U-Net块之后注入Motion Block的图像控制网络,将控制序列(姿态或深度)处理为额外的时间残差

Denoising U-Net是一种衍生的Stable-Diffusion U-Net,带有用于视频生成的运动块。

而Content Guider则是将输入文本提示和外观表情(如人脸)传输到内容嵌入中。

通过这样的操作,DreaMoving能够在输入给定的引导序列和简单的内容描述(例如文本和参考图像)的情况下生成高质量、高保真度的视频

阿里再次创新:通过一句话和人脸即可实现《擦玻璃》舞蹈,服装背景自由切换!图片

不过很可惜的一点是,目前DreaMoving项目并没有开源代码。

对于对此感兴趣的伙伴,可以先关注一下,等待代码开源的发布~

请参考以下链接:[1]https://dreamoving.github.io/dreamoving/[2]https://arxiv.org/abs/2312.05107[3]https://twitter.com/ProperPrompter/status/1734192772465258499[4]https://github.com/dreamoving/dreamoving-project

今天带大家了解了的相关知识,希望对你有所帮助;关于科技周边的技术知识我们会一点点深入介绍,欢迎大家关注golang学习网公众号,一起学习编程~

版本声明
本文转载于:51CTO.COM 如有侵犯,请联系study_golang@163.com删除
亚马逊无人机配送部门关键人物离职 或因未实现预期目标亚马逊无人机配送部门关键人物离职 或因未实现预期目标
上一篇
亚马逊无人机配送部门关键人物离职 或因未实现预期目标
现代起亚发布创新记忆合金轮胎,助您冬季驾驶更加安全
下一篇
现代起亚发布创新记忆合金轮胎,助您冬季驾驶更加安全
查看更多
最新文章
查看更多
课程推荐
  • 前端进阶之JavaScript设计模式
    前端进阶之JavaScript设计模式
    设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
    542次学习
  • GO语言核心编程课程
    GO语言核心编程课程
    本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
    510次学习
  • 简单聊聊mysql8与网络通信
    简单聊聊mysql8与网络通信
    如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
    498次学习
  • JavaScript正则表达式基础与实战
    JavaScript正则表达式基础与实战
    在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
    487次学习
  • 从零制作响应式网站—Grid布局
    从零制作响应式网站—Grid布局
    本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
    484次学习
查看更多
AI推荐
  • AI边界平台:智能对话、写作、画图,一站式解决方案
    边界AI平台
    探索AI边界平台,领先的智能AI对话、写作与画图生成工具。高效便捷,满足多样化需求。立即体验!
    402次使用
  • 讯飞AI大学堂免费AI认证证书:大模型工程师认证,提升您的职场竞争力
    免费AI认证证书
    科大讯飞AI大学堂推出免费大模型工程师认证,助力您掌握AI技能,提升职场竞争力。体系化学习,实战项目,权威认证,助您成为企业级大模型应用人才。
    414次使用
  • 茅茅虫AIGC检测:精准识别AI生成内容,保障学术诚信
    茅茅虫AIGC检测
    茅茅虫AIGC检测,湖南茅茅虫科技有限公司倾力打造,运用NLP技术精准识别AI生成文本,提供论文、专著等学术文本的AIGC检测服务。支持多种格式,生成可视化报告,保障您的学术诚信和内容质量。
    548次使用
  • 赛林匹克平台:科技赛事聚合,赋能AI、算力、量子计算创新
    赛林匹克平台(Challympics)
    探索赛林匹克平台Challympics,一个聚焦人工智能、算力算法、量子计算等前沿技术的赛事聚合平台。连接产学研用,助力科技创新与产业升级。
    647次使用
  • SEO  笔格AIPPT:AI智能PPT制作,免费生成,高效演示
    笔格AIPPT
    SEO 笔格AIPPT是135编辑器推出的AI智能PPT制作平台,依托DeepSeek大模型,实现智能大纲生成、一键PPT生成、AI文字优化、图像生成等功能。免费试用,提升PPT制作效率,适用于商务演示、教育培训等多种场景。
    552次使用
微信登录更方便
  • 密码登录
  • 注册账号
登录即同意 用户协议隐私政策
返回登录
  • 重置密码