题材相关新闻:
1、2月16日,OpenAI在其官网发布文生视频模型Sora。据介绍,该模型可以生成长达一分钟的视频,同时保持视觉品质并遵循用户提示。
2、360创始人周鸿祎发布微博提到自己对Sora的看法,周鸿祎认为,Sora的诞生意味着AGI(通用人工智能)实现可能从10年缩短至一两年。
题材介绍:
1、文生视频的定义:
1)文本生成视频/图像生成视频:输入几行文本或上传图像,就可以通过AI创建简短、高质量的视频;
2)视频-视频不同风格转换:将现有视频转换为不同的风格,包括不同的角色和对象,同时保持视频的结构;
3)扩展(Expand):扩展视频的画布或宽高比,通过AI模型预测超出原始视频边界的内容,类似于Midjourney对于图片的“外画”功能;
4)实时编辑和修改:使用AI编辑视频内容,直接在视频中添加想要的素材,比如更换衣服、添加另一个角色、更改环境或添加道具;
5)延长(Extend):使用AI扩展现有视频剪辑的长度。
2、Sora模型展示出的亮点:
1)视频生成长度可达1分钟,远超其他文生视频模型
作为对比,目前视频生成领域热门的跑道模型最长可生成18秒的视频,Pika1.0最长可生成15秒的视频。
2)3D 空间的一致性
Sora 可以生成具有动态镜头运动的视频,随着摄像机的移动和旋转,人物和场景元素在三维空间中保持连贯的运动。
3)长期连续性和物体持久性
Sora 通常能够有效地对短期和长期依赖关系进行建模例如可以保留人、动物和物体,即使它们被遮挡或离开镜头。并且可以在单个样本中生成同一角色的多个镜头,在整个视频中保持外观。
Sora解决了一个具有挑战性的问题,即确保一个主题即使暂时离开视野也能保持不变且能够向前或向后扩展视频,以及连接视频,可以使用 Sora 在两个输入视频之间逐渐插值,在具有完全不同主题和场景构图的视频之间创建无缝过渡。
4)模拟数字世界
Sora能够模拟人工过程,例如视频游戏。Sora可以同时通过基本策略控制Minecraf游戏中的玩家,同时还可以高保真地渲染世界及其动态。