Google推出了一款可从简短文本生成逼真视频的新型ai模型Lumiere

Google推出了一款可从简短文本生成逼真视频的新型ai模型Lumiere

Lumiere创建的视频展示了逼真的运动,甚至可以使用图像和其他视频作为输入来改善结果。在题为《用于视频生成的时空扩散模型》的论文中揭示,Lumiere的工作方式与现有的视频生成模型不同。它一次性生成视频的时间持续,而现有的模型则通过合成关键帧,然后进行时间超分辨率。

简单来说,Lumiere关注图像中物体的运动,而以前的系统则通过已经发生运动的关键帧进行拼接视频。

该模型能够生成最高80帧的视频。相比之下,Stability的Stable Video Diffusion分别为14和25帧。帧数越多,视频的运动就越流畅。

据Google团队称,Lumiere在各种测试中均优于Pika、Meta和Runway等公司的竞争对手视频生成模型,包括零样本试验。

Google推出了一款可从简短文本生成逼真视频的新型ai模型Lumiere

研究人员还声称,Lumiere的输出可以用于内容创作任务和视频编辑,包括使用经过微调的文本到图像模型权重进行视频修补和风格化生成(模仿所展示的艺术风格)。

为了达到这个目的,Lumiere利用了一种新的架构,称为时空U-Net。这通过模型的单次传递一次性生成整个视频的时间持续。

Google团队写道,这种新颖的方法提高了输出的一致性。论文中写道:“通过部署空间和(重要的是)时间的降采样和升采样,并利用预训练的文本到图像扩散模型,我们的模型通过在多个时空尺度上处理来直接生成全帧率、低分辨率的视频。”

Google推出了一款可从简短文本生成逼真视频的新型ai模型Lumiere

Lumiere项目的目标是创建一个系统,使初学者更容易创建视频内容。

然而,论文承认了或许存在滥用的风险,特别是警告Lumiere等模型可能被用来创建虚假或有害的内容。

“我们认为,开发和应用检测偏见和恶意用例的工具是至关重要的,以确保安全和公平的使用,”论文中写道。

截至撰写本文时,Google尚未向公众提供该模型。但是,您可以在GitHub上的展示页面上探索各种示例生成。

发布者:ai发烧友,转转请注明出处:http://www.ouzou.cn/ai-jishu/4230.html

(0)
ai发烧友的头像ai发烧友
上一篇 2024-01-29 下午9:43
下一篇 2024-01-31 下午11:50

相关推荐

  • 人工智能与技术殖民主义的风险

    在人工智能快速发展的时代,生成式人工智能(GenAI)的出现标志着一个关键的转折点,使我们稳步迈向技术殖民主义。这一重大转变超越了传统的技术进步,深刻地影响了我们的社会和文化景观。 GenAI 是一种基础模型,本质上是一种预先训练的深度学习模型,擅长吸收反映广泛人类知识和行为的大量数据集。这种能力改变了人工智能,使其能够承担以前认为无法完成的任务,例如生成复…

    2024-02-07
    00
  • OpenAI推出文生视频新模型sora,可生成长达1分钟视频

    OpenAI 凭借 Chat-GPT 及其文本转图像生成器 DALL-E 席卷了人工智能世界,并通过新的文本转视频sora平台加大了赌注。 这家科技巨头周四(2 月 15 日)推出了 Sora。它是一款基于人工智能的文本到视频生成器,允许用户仅使用文本提示即可创建长达一分钟的视频。 Sora 由一个简单的文本框提供支持,允许用户输入他们想要的任何文本提示。然…

    2024-02-16
    00
  • 抖音推出的AI绘画工具Dreamina开启内测,可生成动漫风格

    近期抖音发布了新的ai绘画工具——Dreamina;它不仅能够根据简单的文本提示生成高质量的图像,还具备一系列强大的图像编辑功能,让你的创作过程更加灵活和高效;它可以根据用户输入的文字,快速将创意和想法转化为图像,支持多个维度的生成和修改。 Dreamina使用了卷积神经网络(Convolutional Neural Network,CNN)等先进的人工智能…

    2024-01-19
    01
  • 为sora配音的ai生成工具ElevenLabs

    人工智能语音初创公司 ElevenLabs 首次为人工智能生成的视频添加音效,让人们了解了其未来的发布计划。 ElevenLabs 以其近似人类的文本到语音和合成语音服务而闻名,它为使用 OpenAI 的 Sora 制作的视频添加了人工生成的音效。 OpenAI 上周发布了其令人印象深刻的 Sora 文本到视频人工智能模型,展示了迄今为止最逼真、最一致、最长…

    2024-02-21
    00
  • chagpt总结:2023年ai的发展历程和2024可能的突破方向

    苹果和腾讯这两个神仙只是闹别扭,其他的小鬼便遭了殃。

    2024-01-02
    01

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注