Gorden Sun (@Gorden_Sun) “NVIDIA开源PixelUMM：一个模型同时支持图文和视频的理解与生成 NVIDIA发布了无编码器” — TopicDigg
Gorden Sun
@Gorden_Sun
加入 August 2013
0 正在关注 0 粉丝
NVIDIA开源PixelUMM：一个模型同时支持图文和视频的理解与生成
NVIDIA发布了无编码器多模态模型PixelUMM，一套架构同时支持图像和视频的理解与双向生成。
它抛弃了传统的独立视觉编码器，把画面切分成像素块直接送入主模型处理，让输入理解和输出生成共用同一套底层表示。
这种设计大幅简化了多模态流程，为研究更原生的图文与视频一体化架构提供了完整开源参考。
模型：
显示更多
