前几个月OpenAI大名鼎鼎的Sora 一经发布，似乎象征着视频领域已经进入了生成式 AI 时代。

不过直到今天，我们仍然没有用上OpenAI 的官方视频生成工具，等不及的人们已经开始寻找其他的方法。其中不乏一些国内的厂商如快手的可灵等等。

而在近日，一款全新的开源视频编辑工具 Clapper 引发了人们的关注。与其他的文生视频或者文生视频工具不同，这款工具的设计目的并非取代传统视频编辑器，或使用 3D 场景作为输入的现代 AI 编辑器；其理念是让任何人都可以通过交互式、迭代和直观的过程使用 AI 制作视频，而无需外部工具、电影制作或 AI 工程技能。

Clapper 是一款由 HuggingFace 的 AI 前端工程师 Julian Bilcke 开发的免费开源可视化 AI 视频编辑工具。它集成了多种生成式 AI 技术，让用户能够通过交互式、迭代和直观的过程来创建视频，无需掌握专业的电影制作或 AI 工程技能。

在 Clapper 中，用户可以通过调整高级抽象概念（如角色、地点、天气等）来迭代优化故事情节。而Clapper 的导演模式允许用户向 AI 发出指令，从而进行创作电影。这一工具为视频创作领域提供了一种全新的工作流程和创作方式。Clapper 的作者Julian Bilcke 是 HuggingFace 的一名 AI 前端工程师。他表示，为了向这个方向继续努力，他还在开发导演模式：目标是让使用者可以全屏播放视频，舒适地坐在导演椅（或沙发）上，向 Agent 大喊命令，让 AI 制作电影。

最近几天，Julian Bilcke 已经上线了使用大模型将任意文本转换为时间线等新功能。而 Clapper 的热度也水涨船高，在 GitHub 上已经拥有超过 1100 的 Star 量。

既然是开源工具，我们主要看的当然是具体好不好用。还记得 AI 大咖 Karpathy 制作 AI 短视频的经历吗？为了把《傲慢与偏见》开头的三句话制作成动画，他花费了整整一个小时。

虽然只有三句话和三个场景，但整个流程比看起来复杂得多。他先用 Claude 根据原文生成一系列图像提示词，再将这些提示词输入文本生成图像模型，生成相应的图像，接着使用视频模型制作动画，配音则交给了 Elevenlabs，最后在 Veed Studio 中将所有片段整合起来。完成后，Karpathy 在推特上吐槽道：「创业者们，机会来了！市场上急需一个能够整合并简化这些流程的 AI 工具。」

好巧不巧，Clapper 正是这样一个集成了所有这些功能的一站式平台。

通常情况下，要制作一条短视频，需要经历多个步骤。

首先是构思故事和编写脚本，然后根据脚本绘制分镜图。接下来，根据分镜图进行拍摄或寻找素材，将这些素材在剪辑软件中拼接起来，添加动画效果和特效，最后选择性地添加口播、背景音乐或音效。

正因为这一流程的复杂性，影视制作行业中逐渐形成了编导、导演、摄像、剪辑、后期制作、配音等专业分工。而在 Clapper 中，视频制作遵循一种全新的逻辑。它的每条轨道不再像 Premier、剪映等传统剪辑软件那样对应视频或图片素材，而是对应一个具体的制作环节或工种。

在用 AI 做视频这件事上，我们就是 AI 的甲方，而Clapper 就像一个由业内最强的 AI 组成的剧组。Clapper 内置像 GPT-4o，Claude 3.5（Sonnet）等一系列「顶流」大模型。它就像乙方的执行导演一样，负责将你的需求对接给对应的「AI 编导」。

从上面的图中可以看出，第一条轨道代表着故事版，和 Clapper 内置的大模型对话，它将通过 API 调取文生图模型，让 AI 分镜老师来生成对应的图片，作为视频画面的基础。

以 Clapper 提供的样片为例，接下来的轨道依次对应场景、旁白、摄像机视角、背景音乐和音效。你可以使用 ElevenLabs 或 Fal.ai 为这个西部废土世界的故事生成一些废墟的风声或枪战的爆炸声。此外，Clapper 还具备一项可能让「会说话就能拍电影」这一梦想更接近现实的功能。你可以直接将剧本导入 Clapper，并在「故事」部分为你的主人公精心设计角色设定。

然而，尽管 Clapper 的功能充分考虑了视频制作的需求，其效果却并不尽如人意。画面中的人物动作有些“鬼畜”，不符合物理运动规律。整体视频效果更像是会动的 PPT，缺乏镜头之间的转场和连贯性，配乐有时候也充满了 AI 的痕迹，旋律感不强，甚至还夹杂着一些杂音。

可能生成式 AI 想要改变视频制作的流程，还需要很长时间，但 Clapper 的出现或许能给还在给传统视频剪辑软件拓展 AI 功能的大厂们，提供了一条新的落地思路。

高性价比GPU算力：https://www.ucloud.cn/site/active/gpu.html?ytag=gpu_wenzhang_0814_toutiao