Runway vs Pika Labs测评——哪个是最好的ai视频工具?

在过去的几个月里,人工智能视频生成器如春笋般涌现。然而,Runway的Gen-2和Pika Lab的Pika 1.0因其早期进入市场并通过持续创新而成为最全面且备受关注的产品之一。

Runway vs Pika Labs测评——哪个是最好的ai视频工具?

除了令人惊叹的影片生成能力,这两款产品对影片中的运动都有精细调控,并提供一些自定义功能,例如Runway的Motion Brush和Pika Labs的Modify Region。

这两项服务都有近似的价格和商业协议。它们都能生成2-3秒的视频片段,提供延长片段的选项,并在生成新片段时接受文本、图像或视频输入。

为了研究它们的差异,我们对它们进行了一对一的多项对比。

在比较Runway和Pika Labs时,我们选择了一系列提示词,并让它们根据这些提示词生成输出视频。我们尝试提出一系列测试摄像机运动、单个物体运动以及多个物体之间运动的提示词。通过使用定制指令、更好的提示词或利用工具内的本地功能,获得了更好的视频输出。

Runway vs Pika Labs测评——哪个是最好的ai视频工具?

测试1:无人机镜头飞越森林火灾

在这次测试中,我们直接通过文本提示词:“飞越森林火灾的无人机镜头,照片逼真,火焰朝着摄像机跃动”要求两个模型生成一个无人机飞越森林火灾的镜头。我重点关注了火焰、摄像机和树木的表现。

这次,Runway明显胜出。火焰效果逼真,更像真实的视频。而Pika Labs在处理火焰的逼真度上稍显不足,导致视频看起来有些失真。

Runway vs Pika Labs测评——哪个是最好的ai视频工具?

测试2:雪地中行走的雪人

这次,我们要求模型生成一个雪人行走在雪地中的场景。主要观察点在于角色动画的自然度;同样是文生视频,使用默认设置,但进行了4秒的延长以查看模型如何处理一致性。

提示词由ChatGPT创建,我们想看看一个AI如何指导另一个AI,提示词:“一只雄伟而威严的雪人,高八英尺,身披一层厚厚的白色毛发,在阳光下闪闪发光,被捕捉到正在穿越喜马拉雅山脉中一条狭窄、积雪覆盖的山间小道时的场景。”

Runway的场景整体更逼真,但Pika Labs在角色动画上做得更好。综合考虑,我们认为Pika Labs这一轮胜出。

Runway vs Pika Labs测评——哪个是最好的ai视频工具?

测试3:从图像中生成未来城市

这次,我们使用图像作为提示而不仅仅是使用文本,这是一个文本和图像到视频,但所有其他设置都保持默认,图像是使用StabilityAI的SDXL 1.0模型在Night Cafe Studio中生成的,主要关注城市景观和运动的表现。

提示词是:“摄像机穿越城市,展示高耸入云的摩天大楼,带有全息广告的飞行器掠过,繁忙的、技术先进的城市景观。”

这一轮,两者表现相当,没有明显胜出的一方。但Pika Labs的动画更接近描述的内容,且更注重运动的表现。Runway的视频则更接近原始图像。所以这次Pika Labs以微弱的优势胜出。

Runway vs Pika Labs测评——哪个是最好的ai视频工具?

测试4:画面中的多个角色

所有视频生成模型都面临的问题之一是多个角色在单个视图中的移动。对于这次测试,我们再次同时使用文本和图像,但将两者的运动级别都提高了两个点。我们没有更改其他任何设置。

图像和视频的提示词都是:“诺曼骑士冲向撒克逊的盾墙。摄像机在冲突的剑和矛之间移动,聚焦在威廉征服者领导的冲锋队上,哈罗德·戈德温森进行防守。”

这一轮,两者都没有胜出。尽管它们来自相同的源图像和文本,但输出结果大不相同。问题在于,与所有AI视频模型一样,两者都无法很好地处理多个角色。如果使用Runway的多运动刷功能,允许按区域设置运动,那么Runway将会胜出。

Runway vs Pika Labs测评——哪个是最好的ai视频工具?

测试5:在清澈的海水中游泳的鱼

在这次测试中,我们特别关注了文本提示词的质量,因为它决定了模型在简单环境中处理复杂运动的能力。

我给出的提示是:“一个充满生机的珊瑚礁,各种海洋生物在其中自由穿梭。镜头从水中缓缓滑过,五彩斑斓的鱼儿在珊瑚间轻盈游动,海流轻抚着海草,使其摇曳生姿。”

经过细致观察,我们认为在处理运动的多样性和自然度方面,两个模型都表现出色。但Pika Labs选择了一种更简约却多元的方式,而Runway则在场景中添加了更多的鱼。

经过慎重观察,我们倾向于认为Pika Labs在这轮测试中略胜一筹。因为Runway的视频在某些鱼的运动上显得不太一致,有些鱼会合并在一起,有些则似乎在向后移动。

Runway vs Pika Labs测评——哪个是最好的ai视频工具?

测试6:独特功能测试

对于第六个测试,我们专注于模型提供的独特功能。这次我利用图像到视频的转换进行测试。

具体而言,使用Leonardo.ai生成的俯瞰广袤区域的外星生物图像作为源材料。这种类型的图像对于AI视频工具来说通常较容易处理,因为运动幅度小、背景广阔、角色数量少。

这次测试的目标是评估两个模型独有的功能(Runway的Multi Motion Brush功能对比Pika Labs的Modify Region功能)以及它们的实用性。虽然Pika Labs的Modify Region功能令人印象深刻。但Runway的多运动刷无疑是一个改变游戏规则的创新功能,因此这一轮我更倾向于Runway。

Runway vs Pika Labs测评——哪个是最好的ai视频工具?

测试7:视频到视频转换

最后一个测试涉及每个模型提供的视频到视频转换功能。Runway在此测试中略微领先,因为它拥有专门的视频到视频模型,并提供了多种样式选项,包括从文本、图像或预设提示中进行选择。

在尝试了“雪人作为油管主播”和“未来派的机器人角色作为油管主播”两个提示后,我们注意到Runway的视频在视觉效果上很好地满足了要求并保留了源视频的运动元素。然而,Pika Labs未能成功创建一个形象良好的角色,画面效果不佳。因此,这一轮Runway轻松胜出。

总结:胜者揭晓

经过一系列测试,两个模型各有千秋。Runway赢得了三项测试,Pika Labs也赢得了三项测试,而在一项测试中双方均未获胜。

然而,在双方均未获胜的那项测试中,通常情况下本应由Runway胜出,这得益于其“多运动刷”功能。问题在于角色间的融合度较高,这可以通过为每个角色定义独立的运动轨迹来解决。

尽管我们对Pika Labs的模型颇为欣赏,但我认为最终胜者应是Runway的Gen-2模型。这主要归功于其在创建新功能和优化预生成设置方面的优势。

发布者:ai发烧友,转转请注明出处:http://www.ouzou.cn/ai-jishu/4217.html

(0)
ai发烧友的头像ai发烧友
上一篇 2024-01-29 上午12:00
下一篇 2024-01-30 下午11:45

相关推荐

  • 人工智能遇上量子:ai模型将拥有“理解”能力

    能够理解世界而不仅仅是生成一个单词或代码的人工智能系统是许多人工智能研究人员的梦想。 一群量子计算科学家开发了一种新方法,使梦想更近了一步:他们开发了一个框架,使机器能够像人类一样学习。 Quantinuum 团队的一篇新论文描述了该框架,该框架可以让人工智能系统学习形状和颜色等概念。机器不仅可以看到图像并识别它,而且还可以真正理解该物体的​​含义。 他们开…

    2024-02-17
    00
  • AI音乐生成器​Beatoven.ai:可为视频、播客和游戏生成背景音乐

    Beatoven.ai是一款利用先进的人工智能技术,帮助创作者轻松生成免费背景音乐的创作工具。其特色在于结合了先进的AI技术,提供了一个简单、直观的界面,用户只需通过文本描述即可生成音乐。 该工具可以根据用户的视频或播客的内容和情绪,自动生成适合的原创音乐;用户只需上传自己的视频或播客,标记剪辑点,并选择喜欢的音乐风格和情绪,Beatoven.ai就可以在几…

    2024-01-22
    00
  • Neuro AI:利用人脑推动人工智能发展

    世界上最复杂的计算机是人类的大脑。这块由脂肪、水、蛋白质、碳水化合物、盐和神经元组成的聚合物比任何迄今为止的人工智能系统都更复杂。了解它的工作原理,可能是解锁下一代人工智能的关键。 世界人工智能戛纳节的专家似乎也这样认为。他们称之为神经人工智能的概念指的是我们的大脑如何从例子和先前的经验中学习,这可能比仅仅用不断增加的数据来训练AI任务更先进。 鲁尔大学博鲁…

    2024-02-11
    00
  • IMF:AI将影响全球近40%的就业岗位,人工智能引领行业变革

    据香港《南华早报》15日报道,当地时间1月14日,国际货币基金组织(IMF)总裁格奥尔基耶娃在参加瑞士达沃斯世界经济论坛前表示,全球40%的就业机会将受到人工智能(AI)的影响。 国际货币基金组织(IMF)发布的《Gen-AI:人工智能与未来的工作》报告指出,人工智能的发展将对全球就业市场产生广泛而深远的影响。报告称,在发达经济体和部分新兴市场经济体中,将有…

    2024-01-15
    01
  • Google推出了一款可从简短文本生成逼真视频的新型ai模型Lumiere

    Lumiere创建的视频展示了逼真的运动,甚至可以使用图像和其他视频作为输入来改善结果。在题为《用于视频生成的时空扩散模型》的论文中揭示,Lumiere的工作方式与现有的视频生成模型不同。它一次性生成视频的时间持续,而现有的模型则通过合成关键帧,然后进行时间超分辨率。 简单来说,Lumiere关注图像中物体的运动,而以前的系统则通过已经发生运动的关键帧进行拼…

    2024-01-30
    00

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注