Y11 (@seclink) “学习一下蒸馏模型所需的数据格式， 以及做后训练需要多少数据量级。 只要高质量的数据” — TopicDigg
Y11
@seclink
加入 January 2011
0 正在关注 0 粉丝
学习一下蒸馏模型所需的数据格式，
以及做后训练需要多少数据量级。
只要高质量的数据集给得足够 ， 算力（卡）给得足够 ，很多模型训练其实都只是用固定的算法范式最佳实践搞搞组合。
难点还是在于高质量已标注的独家数据如何获取。
基于Web的RAG其实并不靠谱，
你以为是白嫖搜索引擎的数据，
其实是 GEO 黑灰产在污染以及利用你的模型做宣发推广。
除非 RAG 检索的是自己的付费广告的商品库，才有价值。
显示更多
