Nora (@wellzhiai)
@wellzhiai
0 正在关注 0 粉丝
大家都知道LLM，那SLM呢？
小语言模型的三种主流构建方法
1. 知识蒸馏（Knowledge Distillation）
基于“教师-学生”框架迁移大模型能力，
代表模型有 DistilGPT、TinyLLaMA。
2. 从头轻量化训练（Training from Scratch）
设计轻量架构并在中等规模语料上独立训练，
代表模型有 MiniBERT、ALBERT.
3. 模型压缩技术（Model Compression）
在现有架构上通过剪枝、量化
或低秩分解缩减体积并保留性能
显示更多
