跳到正文
实时
机器之心·收录于· 13 天前38

英伟达开源 PixelUMM, 在像素空间统一视频图像理解与生成

告别VAE和ViT! 英伟达开源PixelUMM, 在像素空间统一视频图像理解与生成

要点速览

英伟达开源 PixelUMM 统一视频图像理解与生成,采用像素空间表示替代 VAE 和 ViT,将理解与生成任务置于同一上下文,减少 token 消耗并提升效率。该模型支持视频和图像输入,通过单一 token 处理视觉任务,实现更紧凑的多模态交互。

来源: 机器之心 · jiqizhixin.com