在过去的几个月里，人工智能视频生成器如春笋般涌现。然而，Runway的Gen-2和Pika Lab的Pika 1.0因其早期进入市场并通过持续创新而成为最全面且备受关注的产品之一。
除了令人惊叹的影片生成能力，这两款产品对影片中的运动都有精细调控，并提供一些自定义功能，例如Runway的Motion Brush和Pika Labs的Modify Region。
这两项服务都有近似的价格和商业协议。它们都能生成2-3秒的视频片段，提供延长片段的选项，并在生成新片段时接受文本、图像或视频输入。
为了研究它们的差异，我们对它们进行了一对一的多项对比。
在比较Runway和Pika Labs时，我们选择了一系列提示词，并让它们根据这些提示词生成输出视频。我们尝试提出一系列测试摄像机运动、单个物体运动以及多个物体之间运动的提示词。通过使用定制指令、更好的提示词或利用工具内的本地功能，获得了更好的视频输出。
测试1：无人机镜头飞越森林火灾
在这次测试中，我们直接通过文本提示词：“飞越森林火灾的无人机镜头，照片逼真，火焰朝着摄像机跃动”要求两个模型生成一个无人机飞越森林火灾的镜头。我重点关注了火焰、摄像机和树木的表现。
这次，Runway明显胜出。火焰效果逼真，更像真实的视频。而Pika Labs在处理火焰的逼真度上稍显不足，导致视频看起来有些失真。
测试2：雪地中行走的雪人
这次，我们要求模型生成一个雪人行走在雪地中的场景。主要观察点在于角色动画的自然度；同样是文生视频，使用默认设置，但进行了4秒的延长以查看模型如何处理一致性。
提示词由ChatGPT创建，我们想看看一个AI如何指导另一个AI，提示词：“一只雄伟而威严的雪人，高八英尺，身披一层厚厚的白色毛发，在阳光下闪闪发光，被捕捉到正在穿越喜马拉雅山脉中一条狭窄、积雪覆盖的山间小道时的场景。”
Runway的场景整体更逼真，但Pika Labs在角色动画上做得更好。综合考虑，我们认为Pika Labs这一轮胜出。
测试3：从图像中生成未来城市
这次，我们使用图像作为提示而不仅仅是使用文本，这是一个文本和图像到视频，但所有其他设置都保持默认，图像是使用StabilityAI的SDXL 1.0模型在Night Cafe Studio中生成的，主要关注城市景观和运动的表现。
提示词是：“摄像机穿越城市，展示高耸入云的摩天大楼，带有全息广告的飞行器掠过，繁忙的、技术先进的城市景观。”
这一轮，两者表现相当，没有明显胜出的一方。但Pika Labs的动画更接近描述的内容，且更注重运动的表现。Runway的视频则更接近原始图像。所以这次Pika Labs以微弱的优势胜出。
测试4：画面中的多个角色
所有视频生成模型都面临的问题之一是多个角色在单个视图中的移动。对于这次测试，我们再次同时使用文本和图像，但将两者的运动级别都提高了两个点。我们没有更改其他任何设置。
图像和视频的提示词都是：“诺曼骑士冲向撒克逊的盾墙。摄像机在冲突的剑和矛之间移动，聚焦在威廉征服者领导的冲锋队上，哈罗德·戈德温森进行防守。”
这一轮，两者都没有胜出。尽管它们来自相同的源图像和文本，但输出结果大不相同。问题在于，与所有AI视频模型一样，两者都无法很好地处理多个角色。如果使用Runway的多运动刷功能，允许按区域设置运动，那么Runway将会胜出。
测试5：在清澈的海水中游泳的鱼
在这次测试中，我们特别关注了文本提示词的质量，因为它决定了模型在简单环境中处理复杂运动的能力。
我给出的提示是：“一个充满生机的珊瑚礁，各种海洋生物在其中自由穿梭。镜头从水中缓缓滑过，五彩斑斓的鱼儿在珊瑚间轻盈游动，海流轻抚着海草，使其摇曳生姿。”
经过细致观察，我们认为在处理运动的多样性和自然度方面，两个模型都表现出色。但Pika Labs选择了一种更简约却多元的方式，而Runway则在场景中添加了更多的鱼。
经过慎重观察，我们倾向于认为Pika Labs在这轮测试中略胜一筹。因为Runway的视频在某些鱼的运动上显得不太一致，有些鱼会合并在一起，有些则似乎在向后移动。
测试6：独特功能测试
对于第六个测试，我们专注于模型提供的独特功能。这次我利用图像到视频的转换进行测试。
具体而言，使用Leonardo.ai生成的俯瞰广袤区域的外星生物图像作为源材料。这种类型的图像对于AI视频工具来说通常较容易处理，因为运动幅度小、背景广阔、角色数量少。
这次测试的目标是评估两个模型独有的功能（Runway的Multi Motion Brush功能对比Pika Labs的Modify Region功能）以及它们的实用性。虽然Pika Labs的Modify Region功能令人印象深刻。但Runway的多运动刷无疑是一个改变游戏规则的创新功能，因此这一轮我更倾向于Runway。
测试7：视频到视频转换
最后一个测试涉及每个模型提供的视频到视频转换功能。Runway在此测试中略微领先，因为它拥有专门的视频到视频模型，并提供了多种样式选项，包括从文本、图像或预设提示中进行选择。
在尝试了“雪人作为油管主播”和“未来派的机器人角色作为油管主播”两个提示后，我们注意到Runway的视频在视觉效果上很好地满足了要求并保留了源视频的运动元素。然而，Pika Labs未能成功创建一个形象良好的角色，画面效果不佳。因此，这一轮Runway轻松胜出。
总结：胜者揭晓
经过一系列测试，两个模型各有千秋。Runway赢得了三项测试，Pika Labs也赢得了三项测试，而在一项测试中双方均未获胜。
然而，在双方均未获胜的那项测试中，通常情况下本应由Runway胜出，这得益于其“多运动刷”功能。问题在于角色间的融合度较高，这可以通过为每个角色定义独立的运动轨迹来解决。
尽管我们对Pika Labs的模型颇为欣赏，但我认为最终胜者应是Runway的Gen-2模型。这主要归功于其在创建新功能和优化预生成设置方面的优势。
发布者：ai发烧友，转转请注明出处：http://www.ouzou.cn/ai-jishu/4217.html
