当前位置:首页 > 文章列表 > 科技周边 > 人工智能 > 开源AI视频工具,你只需要当导演,HuggingFace工程师打造

开源AI视频工具,你只需要当导演,HuggingFace工程师打造

来源:机器之心 2024-08-14 18:13:43 0浏览 收藏

学习知识要善于思考,思考,再思考!今天golang学习网小编就给大家带来《开源AI视频工具,你只需要当导演,HuggingFace工程师打造》,以下内容主要包含等知识点,如果你正在学习或准备学习科技周边,就都不要错过本文啦~让我们一起来看看吧,能帮助到你就更好了!

用 Clapper 做视频,你只需要当导演就行了。


Sora 一出,视频领域似乎已经进入了生成式 AI 时代。不过直到今天,我们仍然没有用上 OpenAI 的官方视频生成工具,等不及的人们已经开始寻找其他的方法。

最近几周,一款开源的视频编辑工具 Clapper 引发了人们的关注。

开源AI视频工具,你只需要当导演,HuggingFace工程师打造

与很多科技公司提供的视频生成器不同,Clapper 是一款开源 AI 故事可视化工具,于一年前推出原型。它的设计目的并非取代传统视频编辑器,或使用 3D 场景作为输入的现代 AI 编辑器。

Clapper 的理念是集合各类生成式 AI 技术,让任何人都能通过交互式、迭代和直观的过程使用 AI 创建视频。无需外部工具、电影制作或 AI 工程技能。在 Clapper 中,你无需直接编辑视频和音频文件序列,而是通过调整高级、抽象的概念,如角色、位置、天气、时间段、风格等,基于 AI Agent 来迭代你的故事。

Clapper 的作者 Julian Bilcke 是 HuggingFace 的一名 AI 前端工程师。他表示,为了向这个方向继续努力,他还在开发导演模式:目标是让使用者可以全屏播放视频,舒适地坐在导演椅(或沙发)上,向 Agent 大喊命令,让 AI 制作电影。

开源AI视频工具,你只需要当导演,HuggingFace工程师打造

最近几天,Julian Bilcke 已经上线了使用大模型将任意文本转换为时间线等新功能。而 Clapper 的热度也水涨船高,在 GitHub 上已经拥有超过 1100 的 Star 量。

开源AI视频工具,你只需要当导演,HuggingFace工程师打造

  • GitHub 链接:https://github.com/jbilcke-hf/clapper
  • HuggingFace 链接:https://huggingface.co/spaces/jbilcke-hf/clapper/tree/main
  • 试用网址:https://clapper.app/

如何使用

既然是开源工具,我们主要看的当然是具体好不好用。

还记得 AI 大牛 Karpathy 创作 AI 短视频的体验吗?为了将《傲慢与偏见》开头的三句话变成动画版,足足花了这位顶尖高手一个小时。虽然只有三句话,三个场景,但这个工作流远比三句话要复杂。他先用 Claude 根据原文生成了一系列图像提示词,再将这些提示词输入文生图模型生成对应的图像,再交给视频模型制作动画,配音的任务分配给了 Elevenlabs,最后在 Veed Studio 里把所有片段整合起来。

于是,Karpathy 做完后发推吐槽,称:「创业者们,机会来了!市面上急需一个能够整合、简化这些流程的 AI 工具。」

Clapper 正是一个集成了所有这些功能的一站式平台。

开源AI视频工具,你只需要当导演,HuggingFace工程师打造

通常想做一条短视频,需要经历以下几个步骤。首先需要一个故事和脚本,然后根据脚本画出分镜,再根据分镜拍摄或寻找素材,将它们在剪辑软件拼合起来,添加动画效果和特效,再有选择性地配上口播、背景音乐或音效。因此,影视制作行业中编导、导演、摄像、剪辑、后期、配音等分工应运而生。

而在 Clapper,视频制作遵循另一条逻辑。它的每条轨道不像 Premier、剪映等剪辑软件一样对应着视频或图片素材,而是对应着一个具体的工种。

开源AI视频工具,你只需要当导演,HuggingFace工程师打造                               剪映的素材轨道

开源AI视频工具,你只需要当导演,HuggingFace工程师打造                         Clapper 的轨道

在用 AI 做视频这件事上,我们就是 AI 的甲方。Clapper 就像一个由业内最强的 AI 组成的剧组。Clapper 内置像 GPT-4o,Claude 3.5(Sonnet)等一系列「顶流」大模型。它就像乙方的执行导演一样,负责将你的需求对接给对应的「AI 编导」。

开源AI视频工具,你只需要当导演,HuggingFace工程师打造

从上面的图中可以看出,第一条轨道代表着故事版,和 Clapper 内置的大模型对话,它将通过 API 调取文生图模型,让 AI 分镜老师来生成对应的图片,作为视频画面的基础。

开源AI视频工具,你只需要当导演,HuggingFace工程师打造                              通过 Clapper 可以访问以上文生图模型

以 Clapper 给出的样片为例,接下来的轨道依次对应场景、旁白、摄像机的视角、背景音乐以及音效。你可以要求 ElevenLabs 或 Fal.ai 为这个西部废土世界的故事生成一些废墟的风声或者枪战的爆炸声。

而 Clapper 还有一项功能,可能真的向「会说话就能拍电影」的愿望迈进了一大步。我们可以直接向 Clapper 导入剧本,并且在「故事」一栏细致地为你的主人公创造人设。

开源AI视频工具,你只需要当导演,HuggingFace工程师打造

以《绿野仙踪》为例,我们不仅可以为人物添加更加个性化的人物描述,还可以上传图片,为女主人公多萝西设置视觉形象。这意味着我们可以请世界上的任何演员来扮演这个角色,哪怕你想看 18 岁的小李子演多萝西,都可以实现。Clapper 的功能细致到你可以调整人物的年龄和音色,每个场景的陈设,多萝西的房间有什么家具,他们冒险的目的地「翡翠城」的房子长什么样子,都可以在 Clapper 中随心调整。

开源AI视频工具,你只需要当导演,HuggingFace工程师打造

当然,你也可以先用 AI 画一些气氛图出来,说不定能更进一步地激发你的灵感和创意。

不过,虽然 Clapper 的功能已经充分地考虑了做视频的需求,但是它的效果却有些差强人意。不仅画面中人物的动作有些「鬼畜」,不符合物理运动规律。视频的整体效果更像是会动的 PPT,缺乏镜头之间的转场和连续感,并且配乐也 AI 味十足,听起来没有旋律,还有些杂音。开源AI视频工具,你只需要当导演,HuggingFace工程师打造
可能生成式 AI 想要改变视频制作的流程,还需要很长时间,但 Clapper 的出现或许能给还在给传统视频剪辑软件拓展 AI 功能的大厂们,提供了一条新的落地思路。

参考内容:
https://news.ycombinator.com/item?id=41221399
https://x.com/aigclink/status/1818111874531205216

理论要掌握,实操不能落!以上关于《开源AI视频工具,你只需要当导演,HuggingFace工程师打造》的详细介绍,大家都掌握了吧!如果想要继续提升自己的能力,那么就来关注golang学习网公众号吧!

版本声明
本文转载于:机器之心 如有侵犯,请联系study_golang@163.com删除
不用部署,实现大模型切换自由!Token、算力免费薅!咱AI开发者今年整个秋天的奶茶都省出来了!不用部署,实现大模型切换自由!Token、算力免费薅!咱AI开发者今年整个秋天的奶茶都省出来了!
上一篇
不用部署,实现大模型切换自由!Token、算力免费薅!咱AI开发者今年整个秋天的奶茶都省出来了!
如何构建简单的 AI 代理:分步指南
下一篇
如何构建简单的 AI 代理:分步指南
查看更多
最新文章
查看更多
课程推荐
  • 前端进阶之JavaScript设计模式
    前端进阶之JavaScript设计模式
    设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
    542次学习
  • GO语言核心编程课程
    GO语言核心编程课程
    本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
    508次学习
  • 简单聊聊mysql8与网络通信
    简单聊聊mysql8与网络通信
    如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
    497次学习
  • JavaScript正则表达式基础与实战
    JavaScript正则表达式基础与实战
    在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
    487次学习
  • 从零制作响应式网站—Grid布局
    从零制作响应式网站—Grid布局
    本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
    484次学习
查看更多
AI推荐
  • AI Make Song:零门槛AI音乐创作平台,助你轻松制作个性化音乐
    AI Make Song
    AI Make Song是一款革命性的AI音乐生成平台,提供文本和歌词转音乐的双模式输入,支持多语言及商业友好版权体系。无论你是音乐爱好者、内容创作者还是广告从业者,都能在这里实现“用文字创造音乐”的梦想。平台已生成超百万首原创音乐,覆盖全球20个国家,用户满意度高达95%。
    16次使用
  • SongGenerator.io:零门槛AI音乐生成器,快速创作高质量音乐
    SongGenerator
    探索SongGenerator.io,零门槛、全免费的AI音乐生成器。无需注册,通过简单文本输入即可生成多风格音乐,适用于内容创作者、音乐爱好者和教育工作者。日均生成量超10万次,全球50国家用户信赖。
    12次使用
  •  BeArt AI换脸:免费在线工具,轻松实现照片、视频、GIF换脸
    BeArt AI换脸
    探索BeArt AI换脸工具,免费在线使用,无需下载软件,即可对照片、视频和GIF进行高质量换脸。体验快速、流畅、无水印的换脸效果,适用于娱乐创作、影视制作、广告营销等多种场景。
    12次使用
  • SEO标题协启动:AI驱动的智能对话与内容生成平台 - 提升创作效率
    协启动
    SEO摘要协启动(XieQiDong Chatbot)是由深圳协启动传媒有限公司运营的AI智能服务平台,提供多模型支持的对话服务、文档处理和图像生成工具,旨在提升用户内容创作与信息处理效率。平台支持订阅制付费,适合个人及企业用户,满足日常聊天、文案生成、学习辅助等需求。
    16次使用
  • Brev AI:零注册门槛的全功能免费AI音乐创作平台
    Brev AI
    探索Brev AI,一个无需注册即可免费使用的AI音乐创作平台,提供多功能工具如音乐生成、去人声、歌词创作等,适用于内容创作、商业配乐和个人创作,满足您的音乐需求。
    17次使用
微信登录更方便
  • 密码登录
  • 注册账号
登录即同意 用户协议隐私政策
返回登录
  • 重置密码