OpenAI 厚爱发布 Sora，一文看懂它的文生视频功能到底强在哪？
发布日期：2024-12-11 01:19 点击次数：174
文｜黎诗韵
编著｜靖宇
正如外界揣摸的那样，在为期 12 天直播的第三天，OpenAI 厚爱发布了文生视频家具 Sora。
北京时辰 12 月 10 日凌晨两点，Sam Altman 和几位 OpenAI 里面职工通过直播，展示了 Sora 的功能和实质用例。继本年 2 月释出视频样片后，Sora 激发了全球东谈主工智能界忻悦，尔后国表里东谈主工智能公司纷纷推出文生视频家具。而行动这一赛谈的独创者，今天 Sora 终于揭开了秘要面纱。
合座来说，Sora 展示的一系列家具功能，标明其在视频生成的质料、功能的独创性、技巧的复杂度等方面，远远超出了现在的文生视频家具。
在文、图生视频的基础功能之上，它加入了故事板（绝顶于通过分镜创作我方的故事）、用文本退换原视频、不同场景视频的会通等功能（绝顶于给视频奏凯加殊效），通盘这个词家具功能蓄意似乎都在让视频更接近创作家的自我抒发、匡助他们完成一个逸想的镜头故事。
当地时辰 12 月 9 日晚些时候，好意思国、以及大多数其他国度的用户，不错拜谒官网体验 Sora。它被包含在 ChatGPT Plus、ChatGPT Pro 的会员订阅中，无需很是付费。其中，Plus 能生成最多 50 个最高视频、视频分辨率最高达 720p、时长为 5 秒，而 Pro 则能生成最多 500 个最高视频、分辨率高达 1080p、时长为 20 秒、还能去水印。
Sam Altman 先容作念 Sora 有三大原因：
一是从器用性角度，OpenAI 心爱为创意东谈主员制作器用，这对公司的文化很着急；
二是从用户交互角度，东谈主工智能系统不可只通过文本交互，也应该会通并生成视频，匡助东谈主类使用东谈主工智能。这肖似于国内大模子公司谈到的，「模子每膨大一次模态，用户浸透率就会高涨。」
三则是从技巧角度，这对 OpenAI 的 AGI 阶梯图至关着急，东谈主工智能应该学到更多对于寰宇的章程，这恰是所谓会通物理章程的「寰宇模子」。
既要用技巧调动寰宇，也要用家具促进东谈主类创造，这便是 Sora 在作念的事情。
生成视频以外，还能分镜、加殊效、无尽创作
Sora 最基础的，领先是文生视频、图生视频功能。
掀开主界面，用户不错稽查和处理通盘的视频生成内容，况兼切换网格视图、列表视图，以及创建文献夹和保藏夹，稽查书签等。商量东谈主员称这个主界面蓄意，是为了更好地匡助用户创作故事。
在主页面的中间底部，是 Sora 的文生视频、图生视频功能。
比如，Sam Altman 先给到翰墨输入，「长毛猛犸象在沙漠中行走，广角镜头拍摄」。接着，需要聘任视频的画面比、分辨率、时长（5-20 秒）、以及最终身成的视频数目（最多可生成四段以供挑选）等，才能取得生成的视频。
最终，不错看到生成的视频效劳相配着实、有质感，且基本遵从了输入的指示。对于 Sora 视频生见效劳的出色发扬，未必东谈主们是不料外的。
输入「长毛猛犸象在沙漠中行走，广角镜头拍摄」的翰墨后，Sora 生成了四段视频 | 图片来源：OpenAI
但这次，Sora 还发布了一系列特等的、进阶的的家具功能。在极客公园看来，这些功能基本围绕视频的更准确抒发，也便是通过分镜、加殊效等等方式，让东谈主们能通过视频创作出一个我方想要的故事。
领先是故事板（storyboard），它被商量东谈主员称为是一种「全新的创意器用」。
从家具蓄意上看，它绝顶于按时期轴的方式，把一段故事（视频）切成了多个不同的故事卡（视频帧)。用户只需要蓄意和退换每张故事卡（视频帧)，Sora 会自动把它们补成一段通顺的故事（视频）——这很像电影里的分镜、动画的手稿，当导演画好分镜、一个片子就拍出来了，一个漫画师写好手稿、一个动画就蓄意出来了。
比如商量东谈主员遐想的第一个分镜是，「灿艳的白鹤站在小溪中，领有一条黄色的尾巴。」第二个分镜是，「鹤将头探入水中，并捉出一条鱼」。那他作念的责任便是，永别创建这两张故事卡（视频帧)，并在两者之间设粗略五秒钟的停止。这个停止对 Sora 很着急，给了它把两组动作连起来的证明空间。
最终，他得到了一个完整的视频镜头，「灿艳的白鹤站在小溪中，它领有一条黄色的尾巴。接着鹤将头探入水中，并捉出一条鱼。」
通过两张故事卡（视频帧)，Sora 生成了一个完整的故事（视频) | 图片来源：OpenAI
更为奇妙的是，在这个故事板上，创作成分不仅仅故事卡，也不错是奏凯的图片、视频。也便是说，不错将纵脱的图片、视频拉到故事板上，鸠合故事卡，对它进行创作。
以视频为例，商量东谈主员将上述白鹤的视频切下来导入故事板，进行了剪切，这就给视频的前线和后方留出了不绝创作的流弊，也便是说不错有新的起原和收尾。
这带来的联想是，故事板不错无尽的创作下去。也便是说 Sora 生成的 20 秒视频，不错被不休地创造、剪切、创造……直至皆备达到心目中逸想的镜头。这个历程就像一个裁剪师、导演，通过对分镜蓄意和镜头素材的不休生成裁剪，缓缓剪出我方心中的片子。
和着实寰宇中不同，Sora 提供的素材是无尽的。而和其他的文生视频家具不同，Sora 的视频是不错修改加工的。这使得它生成的视频一定会更合适用户心中的联想、创意。
这似乎恰是 Sora 这次家具的中枢想路：尽最大可能地，让生成的视频合适用户心中想要的创意。
这么不错更好会通 Sora 的其他功能，比如不错通过翰墨奏凯修改视频、不错无缝会通两段不同的视频、不错给视频调动画风等，这绝顶于是奏凯给视频加「殊效」了。而一般的文生视频家具，可能需要不休地退换 prompt（教导词）、不休再行生成视频。
通过退换翰墨，用户不错奏凯退换视频 | 图片来源：OpenAI
Sora 能将两个两段视频归拢为一段无缝裁剪 | 图片来源：OpenAI
总的来说，Sora 除了在生成视频上不出猜想的出色发扬以外，它还带来了更特等的视频创作家具功能，绝顶于给视频加分镜、裁剪、殊效。这意味着，每个东谈主都有契机创作出我方着实想要的抒发，离当一个导演也更近了。
「要是你带着期许投入 Sora，以为你只需重心击一个按钮就不错生成一部电影，那么我以为你的期许是无理的。」OpenAI 商量东谈主员说谈。
他暗示，Sora 是一种器用，允许东谈主们同期在多个场合、尝试多个主意，尝试昔时皆备不可能的事情，「实质上咱们以为这是创作家的超等特殊蔓延。」
劳动人人还不只独收费，照旧靠底层模子的技艺
行动文生视频赛谈的独创者，Sora 的推出时辰算是最晚的。对此，OpenAI 商量团队暗示，为了对 Sora 进行平庸的部署，需要找到让模子更快、更低廉的主义。为此，商量团队作念了多数的责任。
在直播中，OpenAI 文告推出 Sora turbo，这是原始 Sora 模子的新高端加快版块。它具有本年早些时候 OpenAI 在「寰宇模拟技巧」陈诉中谈到的通盘功能，此外还增多了从文本生成视频、动绘画像和夹杂视频等功能。这是这次 Sora 家具功能背后的技巧基础。
看起来比拟翰墨，视频的推理资本更高，但这次 OpenAI 并莫得单独针对 Sora 收费。20 好意思元/月的 ChatGPT Plus 会员、以及 200 好意思元/月的 ChatGPT Pro 会员，都不错使用 Sora。
前者的权力包括最多 50 个最高视频、分辨率达 720p，时长为 5 秒，后者的权力包括最多 500 个最高视频、无尽正常视频，分辨率高达 1080p、捏续时辰为 20 秒、况兼下载无水印。
Sora 对 OpenAI 的兴味不啻于此。团队发现，视频模子在大范围覆按时会展现出很多道理的新技艺，使得 Sora 能够模拟履行寰宇中东谈主、动物和环境的某些方面。「咱们的适度标明，膨大视频生成模子是构建物理寰宇通用模拟器的一条有但愿的谈路。」
未必恰是因此，让 Sora 尽快被人人用起来、用数据更好地覆按寰宇模子，对于 OpenAI 最终的 AGI 空想如斯着急。
在迭代技巧的路上，也顺带鼓舞了东谈主类的创造。
「这个版块的 Sora 会犯无理，它并不齐备，但它仍是到了咱们以为它将对增强东谈主类创造力相配灵验的地步。咱们迫不足待地想望望寰宇将用它来作念什么。」成就它的 OpenAI 如斯说谈。