时间：2024/4/15 12:43:06来源：www.pc6.com作者：清晨我要评论(0)
4月15日 消息:近日，Picsart AI Research等团队联合发布了一款名为StreamingT2V的AI视频模型，该模型能够生成长达1200帧、时长达2分钟的视频，这在技术上超越了之前备受关注的Sora模型。StreamingT2V的发布不仅在视频长度上取得了突破，而且它是一个免费开源的项目，可以无缝兼容SVD和animatediff等模型，这对于开源生态的发展具有重要意义。
在Sora之前，市场上的视频生成模型如Pika、Runway、Stable Video Diffusion（SVD）等，通常只能生成几秒钟到十几秒的视频。Sora的出现以其60秒的视频生成能力成为行业的新标杆。而现在，StreamingT2V的推出，不仅在时长上有所突破，理论上还可以做到无限长，这为视频生成领域带来了更多可能性。
StreamingT2V的架构采用了先进的自回归技术，能够创建具有丰富运动动态的长视频，同时保持视频的时间一致性和高帧级图像质量。与现有的文本到视频扩散模型相比，这些模型通常集中在高质量的短视频生成上，而在扩展到长视频时往往会出现质量下降、表现生硬或停滞等问题。StreamingT2V通过引入条件注意力模块（CAM）和外观保留模块(APM)，以及一种随机混合方法，有效地解决了这些问题。
CAM作为短期记忆块，通过注意机制调节当前一代的视频，以实现一致的块过渡;而APM作为长期记忆块，从第一个视频块中提取高级场景和对象特征，防止模型忘记初始场景。此外，StreamingT2V还利用高分辨率文本到视频模型对生成的视频进行自动回归增强，以提高质量和分辨率。
目前，StreamingT2V已经在GitHub上开源，并在huggingface上提供了免费试玩。尽管服务器负载可能较高，但用户可以尝试输入文字和图片提示来生成视频。此外，huggingface上也展示了一些成功的案例，证明了StreamingT2V在视频生成方面的强大能力。
StreamingT2V的发布不仅为视频生成领域带来了新的技术突破，也为开源社区提供了一个强大的工具，有助于推动相关技术的发展和应用。未来，我们或许可以期待更多基于这类技术的创新应用，例如在电影制作、游戏开发、虚拟世界构建等领域发挥重要作用。
相关视频
相关阅读 剑指Sora！120秒超长AI视频模型免费开玩MuseV：基于SD的AI视频生成工具 角色一致且视频时长不限8款AI视频生成产品实测，谁将成为中国Sora？DigenAI官网体验入口 AI视频创作工具网站使用方法教程DreaMoving可控制AI视频生成框架使用地址 阿里dreamoving官方入口华为 Pura 70 系列手机即将发布 后置采用三角形相机岛设计“百万级超跑平替”极狐S5亮相 极狐汽车登陆2024春季大河国际车展中兴通讯召开2024年云网生态峰会，发布全新中兴Axon 60 Ultra行业
热门文章
滴滴和优步合并了吗 优
思源黑体：改变
锤子手机发布会看点预
TK域名免费注册及解析
最新文章
Sora平替？2分钟超长A
研究：人工智能在提供
剑指Sora！120秒超长AI视频模型免费开玩OpenRoute官网体验入口 开源AI路由模型使用开源软件 Tools4AI 将 AI 无缝集成到 Java InternLM2官网体验入口 中文AI聊天机器人模
人气排行 2020年放假安排时间表全年图 2020年法定节假2021年放假安排时间表全年图 2021年法定节假微信公众号怎么申请 微信公众号申请要钱吗zune怎么用？zune使用攻略！2014台式机装机配置推荐snmp协议在windows下的安装与配置微信朋友圈三天可见怎么破解 朋友圈仅展示三2016猴年邮票多少钱一套 2016猴年邮票价格表
查看所有0条评论>>