【新智元导读】继Pika宣布上新2.0版本后，视频生成领域又有新模型加入。成立于2021年的Luma AI今天刚刚官宣了文生视频/图生视频模型Dream Machine，而且提供免费使用API，高质量的生成效果获得了很多网友的好评。

视频生成领域，又添一员猛将!

就在今天，Luma AI首发了自己的视频生成模型Dream Machine，可以通过文字或图片生成高质量的逼真视频。

更重要的是，API对全球免费开放!进入官网后用谷歌账号登录即可马上试用。

每个用户每月有30次免费生成的额度，但比较遗憾的是，每条视频时长只有5秒。

免费试用的消息一出，热情的网友们纷纷挤入服务器，结果发现Luma AI囤的算力好像不够，于是开始了一场漫长的等待。

刚发布后，有些人等了2个小时还没生成出来，Reddit社区中一片怨声载道。

果不其然最后「真香」了，这个视频质量是值得等一会儿的。

接下来，看看这个「造梦机」究竟有多疯狂?

电影级画质，逼真感拉满

官方放出的demo涵盖了各种不同风格和题材的视频，能感觉到最突出的特点就是「电影感」拉满。

不仅有比较好的连贯性，镜头的艺术感也非常不错。

此外，demo还单独强调了一些模型能力，比如生成各种动态以及具有表现力的人物。

不得不说，Luma的审美真的在线，视频中的小姐姐都有一种超模般的「高级美」。

下面这个黑白色调的仰拍镜头，人物动作自然丝滑、一气呵成，裙摆飞起时的幅度虽然有些夸张，但还在可接受范围内。

最重要的是动作符合自然规律，没有出现「手臂融化」、「膝盖外折」这种神奇情况

下面这个demo可以让日漫迷们浅浅兴奋一下，不仅风格对味儿，而且镜头很有意境，可以开始幻想「人均新海诚」了。

比官方demo更精彩的，是各路大神网友们的脑洞创意。

比如在人眼中嵌入一个手绘地球仪。

原本需要几千个高斯点染图的工作，一个Dream Machine就能瞬间完成了。

Sora发布时，很多人惊叹于模型对于光影效果的理解，Dream Machine在这方面的表现也很不错。

这位网友用自己拍摄一张的照片作为提示，生成出来的视频可以延续之前的光感，丝毫不会割裂。

将世界名画《带珍珠耳环的少女》输入给Dream Machine，就可以让艺术史上这位著名模特瞬间「复活」。

但是模型似乎有它自己的想法和审美，比如视频后半段自行更改了模特的相貌和头巾材质，感觉从17世纪的荷兰少女无缝衔接到21世纪T台。

之前在视频生成模型中很少见到的风格，Luma也搞出来了。

比如下面这个demo，狠狠拿捏住了好莱坞老电影的感觉。

提示:意大利黑手党家族站在桌子周围，一边抽雪茄一边数黄金和金钱

但槽点也不是没有，比如香烟的烟雾扩散似乎不够自然，而且没有遵守提示中的「站在桌子周围」（可能是黑手党老大只会坐着吧）。

专业创作者们放出的demo更加惊艳。

Reddit上放出了一段时长10秒的4K视频，作者用MidJourney生成的图片喂给Dream Machine。

https://www.reddit.com/r/singularity/comments/1decmby/maybe_this_thing_shines_with_an_input_image_here/

没有经过换脸或变速处理，一条很有质感的预告片素材就生成出来了。

虽然主角的表情几乎没什么变化，但环境和皮衣质感的渲染非常到位，五官和额头的皱纹也比较自然。

这位创作者更是重量级，他借助Luma的工具生成了一条超过1分钟的视频，作为自己电影项目的宣传片。

只看视频，你能判断出这里面有AI模型的参与吗?

作为勇敢拥抱AI浪潮的急先锋，这位创作者不仅借助Dream Machine生成视频，还使用Udio制作配乐，「没有什么是比AI视频更颠覆性的时刻了」。

https://x.com/cfryant/status/1800923904439136267

看了这么多demo，有比较严谨的Reddit网友坐不住了。模型都放出来了，应该跑下基准测试吧——

哪个好心人帮忙生成下Will Smith吃面条?

「唯一的真实基准测试。」

已经等不及的小编决定自己动手，成果如下——

没想到Dream Machine虽然不太爱听指令，但还挺有幽默感的。在其他模型中还没见过因为吃不到面条气成这样的Will。

如果输入更详细的指令呢?

面条的形态也很自然，但手指似乎不太对劲，但更明显的问题是，Will吃着吃着居然变脸了。

如果直接将这张图片输入给模型，能否解决变脸的问题呢?

很遗憾，似乎并没有。

AI视频三大王者PK

那么相比Pika、Sora等同行竞品，Dream Machine的性能究竟是个什么水平?

有试用者大胆宣称，Luma是目前我们见到最好的模型!

毕竟Sora还没公开，没有人能准确评价其实力。但大家似乎都认同，Luma的表现要优于Runway和Pika。

甚至还有Luma真爱粉在推特上直抒胸臆。通过输入相同的提示对比Pika、Runway和Dream Machine三个模型，他认为最终还是Luma赢了。

从完整视频中可以看到，三个模型都可以生成和渲染很高质量的画面。

但Luma模型之所以「电影感」更强，一方面是似乎有更丰富的「想象力」，能脑补出更多表情和动作;

另一方面则是源于更自然的镜头节奏，人物的行动速度适中，既不过快，也不过慢。刚刚发布半天，网上似乎就充斥着对Dream Machine的溢美之词，但这并不代表模型生成的视频已经完美无缺了。

Luma官网上就非常坦诚地放出了很多有缺陷的demo，表明他们今后计划的改进方向。

比如刚才Will Smith吃面条的视频中出现的「变形」，不仅人脸会有，跑车也会有。

更惊悚的是，在水中游泳的北极熊会突然从身后长出另一个头。

此外，其他模型存在的问题，Dream Machine也没能幸免，比如有时会生成错误的文字，或者没能实现想要的动态效果。

而且小编在尝试官方推荐的文本prompt时，还偶遇了模型的「精分」现场。

输入下面这个prompt，可以得到官网同款的惊艳demo:

但视频后半段就突然画风一转，不仅虎爪的形态不自然了，变脸的程度甚至达到了「惊悚」级别。

虽然有诸多不足，但是Luma能在官网上坦然放出缺陷demo，并放出了一系列「未完待续」的动图，暗示着下一步的更新很可能就在不久之后。

背后团队，5位华人

发布模型的同时，Luma也公布了模型开发团队的名单。从名字来看，14人中应该有5名华人成员。

其中，Alex Yu是公司联创兼CTO。他毕业于加州大学伯克利分校，曾在Adobe工作，研究方向是神经渲染和实时图形领域。

Yu在2021年毕业后，就和另一位创始人Amit Jain创办了Luma公司。

Jain在学校修读的是物理和数学学位，曾在苹果工作，在3D计算机视觉、机器学习、系统工程和深度技术产品方面有丰富经验。

根据crunchbase的数据，Luma AI已在3轮融资中筹集了6730万美元，最新一轮融资是今年1月9日通过的B轮融资，最新的投资方包括英伟达公司。

参考资料:

https://x.com/LumaLabsAI/status/1800921380034379951

https://www.reddit.com/r/singularity/comments/1decmby/maybe_this_thing_shines_with_an_input_image_here/

https://lumalabs.ai/dream-machine