声明：本文来源于微信公众号 新智元（ID:AI_era），作者：新智元，授权站长之家转载发布。

【新智元导读】2023年，也是AI视频第一年。过去一年诞生了哪些爆款应用，未来视频制作领域面临哪些问题？

在过去的一年里，我们见证了AI视频领域，Gen-2、Pika等爆款产品的诞生。

来自a16z的Justine Moore，详细盘点了人工智能视频生成领域的现状、不同模型的比较以及未解决的技术挑战。

接下来，让我们来看看这篇文章说了什么。

生成AI视频大爆发

2023年是人工智能视频取得突破的一年。然而，今年过去了一个月，视频中没有公开文本模型。

短短12个月，数十种视频制作产品受到全球数万用户的青睐。

然而，这些人工智能视频生成工具仍然相对有限，大多数只能生成3-4秒的视频，而质量往往不均匀，角色一致性等问题尚未得到解决。

也就是说，我们远远不能制作皮克斯级别的短片，只有文字提示，甚至多个提示。

然而，我们在过去一年视频制作方面的进步表明，世界正处于大规模变革的早期阶段——类似于我们在图像制作方面看到的情况。

我们可以看到，从文本到视频的模型在不断改进，从图像到视频，从视频到视频的分支也在蓬勃发展。

为了帮助了解这一创新的爆炸性增长，a16z跟踪了该领域最需要关注的公司和潜在问题。

今天在哪里可以生成AI视频？

21个视频生成产品

到目前为止，a16z已经跟踪了21种公共产品。

虽然你可能听说过Runwayyay、Pika、Genmo和Stable Video Diffusion，但还有许多其他的东西需要探索。

这些产品大多来自初创公司，其中许多来自Discord bots，有以下优点：

- 不需要为消费者构建自己的界面，只需要专注于模型质量

- Discord可以在每月1.5亿活跃用户的基础上分发

- 公共渠道为新用户获得创作灵感(通过查看他人的创作)提供了一种简单的方式

然而，随着技术的成熟，我们开始看到越来越多的人工智能视频产品建立自己的网站甚至应用程序。

随着Discord提供了一个很好的平台，但在纯生成中添加的工作流量有限，团队对消费者体验的控制很少。

值得注意的是，由于界面混乱，仍有很大一部分人不使用Discord。

研究和技术

谷歌、Meta等公司在哪里？

他们显然没有出现在公共产品列表中——尽管你可能已经看到他们发布了关于Emu的信息 Video、VideoPoet 和 Lumiere等模型的帖子。

到目前为止，大型科技公司基本上不选择公开自己的人工智能视频产品。

相反，他们在没有选择视频演示的情况下，发表了各种相关视频生成的论文。

例如，谷歌文本生成视频的模型Lumierere

这些公司具有巨大的分销优势，其产品拥有数十亿用户。

那么，他们为什么不放弃发布视频模型，在这个新兴类别的市场中获得巨大份额呢？

主要原因是对法律、安全和版权的担忧往往使这些大公司难以将研究转化为产品并推迟推出。这样，新来者就有机会获得先发优势。

AI视频的下一步是什么？

如果你使用过这些产品，你就会知道在人工智能视频进入主流产品之前，仍然有很大的改进空间。

人工智能视频工具有时会发现提示内容可以生成视频「神奇时刻」，但这种情况相对罕见。更常见的情况是，您需要点击几次重新生成，然后切割或编辑输出以获得专业级别的片段。

该领域的大多数公司都专注于解决一些核心问题：

- 控制:你能同时控制场景中发生的事情吗(例如，提示「有人向前走」，动作是否如描述的那样？)关于后一点，很多产品都添加了一些功能，允许你添加镜头zoom或pan，甚至添加镜头特效。

- 「动作是否如描述的那样？」很难解决：尽管一些公司正在努力在生成之前提供更多的用户控制，但这涉及到底层模型的质量问题（模型是否理解提示的含义并可以按要求生成）。

例如，Runwaymotion brush就是一个很好的例子，它允许用户在高粱图像的特定区域，并确定他们的运动方式。

时间一致性：如何在帧之间保持角色、对象和背景的一致性而不变形为其他东西或扭曲？

这是所有公开提供的模型中非常常见的问题。

如果你今天看到一段连贯的视频超过几秒钟，很可能是视频到视频，拍摄视频，然后使用AnimateDiff prompt 改变风格的工具，如travel。

- 长度-制作长时间短片与时间的连贯性密切相关。

很多公司会限制视频的长度，因为他们不能保证几分钟后视频的一致性。

如果你看到一个超长的AI视频，你应该知道它们是由一堆短片段组成的。

尚未解决的问题

ChatGPT视频什么时候到来？

事实上，我们还有很长的路要走，需要回答以下问题：

目前的扩散架构是否适用于视频？

今天的视频模型是基于扩散模型构建的：它们的基本原理是生成帧，并试图在它们之间创建具有相同时间的动画（有很多策略可以做到这一点）。

他们对3D空间和对象应该如何互动没有内在的理解，这解释了warping / morphing。

2优质训练数据从何而来？

训练视频模型比其他模式模型更困难，主要是因为视频模型没有那么多高质量的训练数据可供学习。语言模型通常在公共数据集(如Common) Crawl）在LAION和Imagenet等标记数据集(文本-图像对)上进行训练，图像模型进行训练。

视频数据更难获取。虽然YouTube和Tiktok平台上有很多公开可访问的视频，但这些视频没有标签，也不够多样化。

如何在平台/模型之间细分这些用例？

我们在几乎所有的内容模式中看到的是，一个模型并不是所有的用例「取胜」的。例如，MidTrik、Idegraph和Dall-E有不同的风格，擅长生成不同类型的图像。

如果你测试今天的文本到视频和图像到视频模式，你会发现他们擅长不同的风格、运动类型和场景组成。

提示:Snow falling on a city street， photorealistic

Genmo

Runway

Stable Video Diffusion

Pika Labs

谁将主导视频制作的工作流程？

在许多产品之间来回是没有意义的。

除了纯粹的视频生成，编辑或电影通常需要编辑，特别是在当前的例子中，许多创作者正在使用视频模型来制作在另一个平台上创建的动画。

从Midjourney的图像开始，在Runway或Pika上制作动画，然后在Topz上升级的视频并不少见。

然后，创作者将视频带到capcut或kapwing等编辑平台，并添加配乐和画外音，通常生成于suno、elevenlabs等产品。

参考资料:

https://a16z.com/why-2023-was-ai-videos-breakout-year-and-what-to-expect-in-2024/