我的天,全球首个「推理视频模型」Ray3发布!

AI 视频又进化了!

Luma AI 发布全球首个推理视频模型,也是首个能够生成工作室级 HDR 的模型。

我的天,全球首个「推理视频模型」Ray3发布!

Ray3 是一款专为讲述故事而设计的 AI 视频模型。

我的天,全球首个「推理视频模型」Ray3发布!

它能够对视觉内容进行思考和推理,并提供先进的物理特性和一致性。

它还率先实现以 16 位 HDR 色彩生成视频。

并且推出了草稿模式让用户能够以更快的速度探索更多创意。

先来看官方的 demo 。

我的天,全球首个「推理视频模型」Ray3发布!

效果可以说是非常震撼了。

看完了卖家秀,再来看看买家秀。

下面是网友用 Ray3 模型做的东京视频。

我的天,全球首个「推理视频模型」Ray3发布!

白天、夜晚、街头、景点、车内、餐厅店铺、地铁、电话亭、高楼等各种场景,都还原的很真实,完全看不出来有什么破绽。

除了日常场景,用它来生成奇幻画面也是手拿把掐。

下面是网友用它做的关于一个男人在地铁上走神幻想的视频。

很有意思,一起来看看。

我的天,全球首个「推理视频模型」Ray3发布!

凭借着出众的性能表现,它也收获了一大波好评。

我的天,全球首个「推理视频模型」Ray3发布!

我的天,全球首个「推理视频模型」Ray3发布!

我的天,全球首个「推理视频模型」Ray3发布!

我的天,全球首个「推理视频模型」Ray3发布!

我的天,全球首个「推理视频模型」Ray3发布!

我的天,全球首个「推理视频模型」Ray3发布!

接着我们一起来看看这个视频模型到底不一样在哪里。

一、推理能力带来了什么

推理能力就像是给视频模型装上大脑,让它有了“思考”的能力。

听得懂人话

它能够理解复杂的指令,还能从不完整的提示词中读懂你的“弦外之音”。

我的天,全球首个「推理视频模型」Ray3发布!

实时评估和改进

它能在生成过程中实时评估物理逻辑和画面合理性,进行改进,从而生成更复杂场景、效果更可靠的视频。

这也让用户能够一次性输入含有多步骤的提示词,然后它先“思考”,再逐步实现。

我的天,全球首个「推理视频模型」Ray3发布!

支持画面注释

除了文本提示词,推理能力也让它能够读懂视觉注释。

在图生视频的模式下,你可以直接在图片上进行涂鸦,比如画圆圈、画箭头等指示,从而指导角色表演、场景布置和镜头移动。

无需多余文本提示,即可优化动作、物体和构图,实现精准的视觉控制。

这也让角色互动变得游刃有余。

我的天,全球首个「推理视频模型」Ray3发布!

二、其他优势

HDR 级别的生成能力

Ray3 是全球首个能够能够提供工作室级保真度 HDR 的模型,让你的视频拥有电影大片的质感。

它可以生成 10、12 和 16 位 HDR 的视频,阴影细节清晰,高光色彩鲜艳。

还能将 SDR 转换成 HDR 。

我的天,全球首个「推理视频模型」Ray3发布!

支持将视频导出为 16 位 EXR 帧,方便后期制作,比如用于专业编辑、色彩分级和合成流程。

我的天,全球首个「推理视频模型」Ray3发布!

从上面视频中的对比可以发现 HDR 比 SDR 的观感要好太多。

这里简单解释一下 HDR 和 SDR 。

HDR 是指 High Dynamic Range Imaging 高动态范围成像。通常使用 10 位或者 12 位色彩深度。

SDR 是指 Standard Dynamic Range Imaging 标准范围成像。是一种较早的显示技术,通常使用 8 位色彩深度。

HDR 能够显示更广泛的颜色变化和亮度级别,这也让观众可以看到更多细节,从而收获更真实的观看体验。

我的天,全球首个「推理视频模型」Ray3发布!

这对像我这种对画质很挑剔的用户可太友好了。

草稿模式

Luma AI 还推出了草稿模式。

该模式的设计是为了方便用户快速迭代自己的视频创意。

草稿模式在生成速度提升 5 倍的同时,将成本降低 5 倍。

这意味着用户可以更高效、以更低的成本尝试自己的想法。

在得到理想的镜头画面后,再通过 Ray3 全新的 Hi-Fi 柔光渲染技术将素材转化成高保真 4K HDR 素材。

我的天,全球首个「推理视频模型」Ray3发布!

各方面能力全面升级

从二代到三代,除了上面提到的这些新增优势,Ray3 模型这次在多个方面都实现了一次重大升级。

比如高能量动态效果、解剖结构的保留、物理模拟、世界探索、复杂人群、交互式照明、焦散、动态模糊、照片级真实感和细节层次等。

我的天,全球首个「推理视频模型」Ray3发布!

雨天这个例子的真实感和物理效果有以假乱真那味了。

物理模拟:

我的天,全球首个「推理视频模型」Ray3发布!

动态模糊:

我的天,全球首个「推理视频模型」Ray3发布!

还有更多信息和示例,请移步:

我的天,全球首个「推理视频模型」Ray3发布!

我的天,全球首个「推理视频模型」Ray3发布!

https://lumalabs.ai/ray

目前可以在 Dream Machine 上免费试用。

我的天,全球首个「推理视频模型」Ray3发布!

lumalabs.ai/dream-machine

现在注册的小伙伴预计会进等待名单,需要大家耐心等待一波~

三、最后

Ray3 的效果真有让我惊艳到,目前已经被用来制作不少短片。

我的天,全球首个「推理视频模型」Ray3发布!

观看链接:

https://www.youtube.com/watch?v=YuawlG2HJtM

后续还有更多视频待推出。

我的天,全球首个「推理视频模型」Ray3发布!

随着 AI 视频模型的一次次升级,我们离一部真正的 AI 好莱坞大片也越来越近。

这也让我想起了由 OpenAI 支持、将于明年戛纳电影节首映的 AI 动画长片《Critterz》。

我的天,全球首个「推理视频模型」Ray3发布!

让我们一起拭目以待吧!

文章来自于微信公众号 “JackCui”,作者 “JackCui”,AI领域从业者,毕业于东北大学,大厂算法工程师,热爱技术分享。

搜索