注册并分享邀请链接,可获得视频播放与邀请奖励。

Gorden Sun (@Gorden_Sun) “Prism:开源AI视频模型,高画质音视频同步生成 现在的 AI 生成视频如果想达到 2K 这种” — TopicDigg

Gorden Sun 的个人资料封面
Gorden Sun 的头像
Gorden Sun
@Gorden_Sun
加入 August 2013
0 正在关注    0 粉丝
Prism:开源AI视频模型,高画质音视频同步生成 现在的 AI 生成视频如果想达到 2K 这种超高清分辨率,并且让声音和画面完全对齐,计算量会极其庞大,普通训练方式容易让显卡吃不消,细节也容易变模糊。 针对这个问题,复旦大学、腾讯混元和浙江大学的研究团队提出了一套名为动态稀疏注意力的技术方案。它的原理可以简单理解为抓重点。AI 不会把整个高清画面的每一处像素都平均分配算力,会先判断哪些区域在发声、哪些画面的变化更快,然后重点把算力集中在声画强相关的区域。这样既能保证声音和动作紧密契合,又能把训练速度提升约 2.5 倍,同时生成画质更好。 模型:
显示更多