当前位置:首页 > 文章列表 > 科技周边 > 人工智能 > 杀疯了!谷歌卷视频到语音,逼真音效让AI视频告别无声!

杀疯了!谷歌卷视频到语音,逼真音效让AI视频告别无声!

来源:机器之心 2024-06-18 20:06:27 0浏览 收藏

哈喽!大家好,很高兴又见面了,我是golang学习网的一名作者,今天由我给大家带来一篇《杀疯了!谷歌卷视频到语音,逼真音效让AI视频告别无声!》,本文主要会讲到等等知识点,希望大家一起学习进步,也欢迎大家关注、点赞、收藏、转发! 下面就一起来看看吧!

AI圈这遍地开花的大好局面,让吃瓜群众们甚是惊喜。

这几天,大洋彼岸杀疯了!

Luma 的热乎劲儿还没过去,昨晚 Runway 就甩出一个王炸 ——Gen-3 Alpha。(查看详情请移步:Runway 版 Sora 发布:高保真、超强一致性,Gen-3 Alpha 震撼到网友了

更没想到的是,一觉醒来,Google DeepMind 也有了新消息,悄咪咪地发布了视频生成语音(V2A)技术的进展。
杀疯了!谷歌卷视频到语音,逼真音效让AI视频告别无声!
虽然这一功能还未向公众开放,不过从官方放出的视频 Demo 来看,效果那是相当丝滑。同时,Google DeepMind 强调,所有示例均由 V2A 技术和他们最先进的生成视频模型 Veo 联手打造。

音频提示: 紧张刺激的恐怖片配乐,脚步声在混凝土上回响。(Cinematic, thriller, horror film, music, tension, ambience, footsteps on concrete)杀疯了!谷歌卷视频到语音,逼真音效让AI视频告别无声!
黑灯瞎火的废弃仓库中,一个黑衣人犹如鬼魅般缓行,再配上诡异的音乐和脚步声,恐怖气氛拉满。

音频提示: 狼在月光下的长嚎。(Wolf howling at the moon)杀疯了!谷歌卷视频到语音,逼真音效让AI视频告别无声!
视频 Demo 一出,评论区清一水的追问:啥时候能用?
杀疯了!谷歌卷视频到语音,逼真音效让AI视频告别无声!
杀疯了!谷歌卷视频到语音,逼真音效让AI视频告别无声!
还有网友寄希望于开源社区当一回赛博菩萨,复制谷歌的这一技术。
杀疯了!谷歌卷视频到语音,逼真音效让AI视频告别无声!
其实,就在 Google DeepMind 官宣没多久,AI 音频领域的「扛把子」ElevenLabs 横插一脚,开源了一个上传视频自动配音的项目,可以为视频生成合适的音效。
杀疯了!谷歌卷视频到语音,逼真音效让AI视频告别无声!
链接:
https://elevenlabs.io/docs/api-reference/how-to-use-text-to-sound-effects

如今 AI 圈子的竞争已呈白热化,大小厂的你追我赶将会创造更加公平的竞争环境,而一旦这些技术成熟,AI 视频领域将会有无限可能。
杀疯了!谷歌卷视频到语音,逼真音效让AI视频告别无声!
杀疯了!谷歌卷视频到语音,逼真音效让AI视频告别无声!
AI 视频告别无声电影

众所周知,视频生成模型正以惊人的速度发展。不过,无论是年初惊艳世人的 Sora,还是近期的可灵、Luma、Gen-3 Alpha,生成的全是「无声电影」,无一例外。

而 Google DeepMind 的视频生成音频 (V2A) 技术,使得同步的视听生成成为可能。它可以结合视频像素和自然语言文本提示,为屏幕上的动作生成丰富的配音。

从技术应用上来说,V2A 技术能够与 Veo 等视频生成模型结合,创造出具有戏剧性配乐、逼真音效或与视频角色以及风格相匹配的对话镜头。

它还能为档案材料、无声电影等传统影像生成音轨,拓宽创作的可能。

音频提示: 可爱的幼年恐龙在丛林中啁啾,伴随着蛋壳的破裂声。(Cute baby dinosaur chirps, jungle ambience, egg cracking)杀疯了!谷歌卷视频到语音,逼真音效让AI视频告别无声!音频提示: 汽车打滑声、引擎轰鸣声,伴随着天使般的电子音乐。(cars skidding, car engine throttling, angelic electronic music) 杀疯了!谷歌卷视频到语音,逼真音效让AI视频告别无声!音频提示: 日落时分,草原上响起悠扬的口琴声。(a slow mellow harmonica plays as the sun goes down on the prairie) 杀疯了!谷歌卷视频到语音,逼真音效让AI视频告别无声!
V2A 技术能够为任何视频输入生成无限数量的音轨。用户可以选择定义「正向提示」来引导生成期望的声音,或者「负向提示」来避免不期望的声音。

这种灵活性让用户对音频输出有了更多的控制,可以快速尝试不同的音频输出,并选择最佳匹配。

音频提示:一艘宇宙飞船在浩瀚的太空中疾驰,星星在它周围划过,高速飞行,充满科幻感。(A spaceship hurtles through the vastness of space, stars streaking past it, high speed, Sci-fi)杀疯了!谷歌卷视频到语音,逼真音效让AI视频告别无声!音频提示:天籁般的大提琴氛围(Ethereal cello atmosphere) 杀疯了!谷歌卷视频到语音,逼真音效让AI视频告别无声!音频提示:一艘宇宙飞船在广袤的太空中高速穿梭,星星在它周围飞速掠过,具有科幻感。(A spaceship hurtles through the vastness of space, stars streaking past it, high speed, Sci-fi) 杀疯了!谷歌卷视频到语音,逼真音效让AI视频告别无声!
背后的工作原理

研究团队尝试了自回归和扩散方法,以发现最可扩展的 AI 架构。扩散方法在音频生成上给出了最真实和引人入胜的结果,用于同步视频和音频信息。

V2A 系统首先将视频输入编码成压缩表示,然后扩散模型从随机噪声中迭代细化音频。这个过程由视觉输入和给定的自然语言提示指导,生成与提示紧密对齐的同步、逼真音频。最终,音频输出被解码成音频波形,并与视频数据结合。
杀疯了!谷歌卷视频到语音,逼真音效让AI视频告别无声!
为了生成更高质量的音频并引导模型生成特定声音,研究团队在训练过程中添加了更多信息,包括 AI 生成的注释,详细描述声音和对话文本。

通过在视频、音频和额外注释上的训练,该技术学会将特定的音频事件与各种视觉场景关联起来,同时响应注释或文本中提供的信息。

谷歌方面强调,他们的技术与现有的视频到音频解决方案都不同,因为它可以理解原始像素,并且添加文本提示是可选的。此外,该系统不需要手动对生成的声音与视频进行对齐,极大地简化了创作流程。杀疯了!谷歌卷视频到语音,逼真音效让AI视频告别无声!
不过,谷歌的这一技术也并非完美,他们仍在努力解决一些 bug。例如,视频输入的质量直接影响音频输出的质量,视频中的伪影或失真可能导致音频质量下降。

同时,他们也在优化唇形同步功能。

V2A 技术尝试从输入文本中生成语音,并将其与角色的口型动作进行同步,但若视频模型未针对文本内容进行相应的调整,就可能导致口型与语音不同步。他们正改进这一技术,以提升唇形同步的自然度。杀疯了!谷歌卷视频到语音,逼真音效让AI视频告别无声!
音频提示:音乐,文本转录「这只火鸡看起来好极了,我好饿。」(Music, Transcript: “this turkey looks amazing, I’m so hungry”)

或许是由于深度伪造技术带来诸多社会问题,Google DeepMind 求生欲满满,一个劲承诺将负责任开发和部署 AI 技术,在向公众开放之前,V2A 技术将经过严格的安全评估和测试。

此外,他们还整合了 SynthID 工具包到 V2A 研究中,为所有 AI 生成的内容添加水印,以防止技术的滥用。

参考链接:

https://deepmind.google/discover/blog/generating-audio-for-video/

https://x.com/GoogleDeepMind/status/1802733643992850760

好了,本文到此结束,带大家了解了《杀疯了!谷歌卷视频到语音,逼真音效让AI视频告别无声!》,希望本文对你有所帮助!关注golang学习网公众号,给大家分享更多科技周边知识!

版本声明
本文转载于:机器之心 如有侵犯,请联系study_golang@163.com删除
单镜头16秒720p高清视频一键生成,开源版Sora又有新惊喜了单镜头16秒720p高清视频一键生成,开源版Sora又有新惊喜了
上一篇
单镜头16秒720p高清视频一键生成,开源版Sora又有新惊喜了
golang框架如何实现RESTful API的缓存
下一篇
golang框架如何实现RESTful API的缓存
查看更多
最新文章
查看更多
课程推荐
  • 前端进阶之JavaScript设计模式
    前端进阶之JavaScript设计模式
    设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
    542次学习
  • GO语言核心编程课程
    GO语言核心编程课程
    本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
    508次学习
  • 简单聊聊mysql8与网络通信
    简单聊聊mysql8与网络通信
    如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
    497次学习
  • JavaScript正则表达式基础与实战
    JavaScript正则表达式基础与实战
    在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
    487次学习
  • 从零制作响应式网站—Grid布局
    从零制作响应式网站—Grid布局
    本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
    484次学习
查看更多
AI推荐
  • 笔灵AI生成答辩PPT:高效制作学术与职场PPT的利器
    笔灵AI生成答辩PPT
    探索笔灵AI生成答辩PPT的强大功能,快速制作高质量答辩PPT。精准内容提取、多样模板匹配、数据可视化、配套自述稿生成,让您的学术和职场展示更加专业与高效。
    28次使用
  • 知网AIGC检测服务系统:精准识别学术文本中的AI生成内容
    知网AIGC检测服务系统
    知网AIGC检测服务系统,专注于检测学术文本中的疑似AI生成内容。依托知网海量高质量文献资源,结合先进的“知识增强AIGC检测技术”,系统能够从语言模式和语义逻辑两方面精准识别AI生成内容,适用于学术研究、教育和企业领域,确保文本的真实性和原创性。
    42次使用
  • AIGC检测服务:AIbiye助力确保论文原创性
    AIGC检测-Aibiye
    AIbiye官网推出的AIGC检测服务,专注于检测ChatGPT、Gemini、Claude等AIGC工具生成的文本,帮助用户确保论文的原创性和学术规范。支持txt和doc(x)格式,检测范围为论文正文,提供高准确性和便捷的用户体验。
    39次使用
  • 易笔AI论文平台:快速生成高质量学术论文的利器
    易笔AI论文
    易笔AI论文平台提供自动写作、格式校对、查重检测等功能,支持多种学术领域的论文生成。价格优惠,界面友好,操作简便,适用于学术研究者、学生及论文辅导机构。
    51次使用
  • 笔启AI论文写作平台:多类型论文生成与多语言支持
    笔启AI论文写作平台
    笔启AI论文写作平台提供多类型论文生成服务,支持多语言写作,满足学术研究者、学生和职场人士的需求。平台采用AI 4.0版本,确保论文质量和原创性,并提供查重保障和隐私保护。
    42次使用
微信登录更方便
  • 密码登录
  • 注册账号
登录即同意 用户协议隐私政策
返回登录
  • 重置密码