Gorden Sun (@Gorden_Sun) “AI视觉模型的核心设计 来自Meta和纽约大学的研究，做视觉多模态模型的可以参考。核心” — TopicDigg
Gorden Sun
@Gorden_Sun
加入 August 2013
0 正在关注 0 粉丝
AI视觉模型的核心设计
来自Meta和纽约大学的研究，做视觉多模态模型的可以参考。核心结论：
1）视觉编码器不用提前单独训练：跟着主模型从零一起训练，最终看图问答的准确率完全不输预先单独训练的版本，而且能省下大笔算力预算。
2）必须保留专门处理图像的独立参数：如果直接删掉视觉部件、让图片和文字共用参数，看图能力会大幅掉队，需要多花3倍算力才能追平。
3）视觉专属参数放进主模型前八层最有效：把视觉独立模块直接嵌进语言模型的前八层内部，不仅识别文字和图表的效果与外挂编码器打平。放进中后层则会拖后腿。
4）嵌入式设计让AI看图出字更快：省去了图片在外挂模块排队处理的环节，1.7B规模的模型在H200显卡上的首字响应时间从64毫秒缩短到37毫秒，反应更快。
项目地址：
显示更多
