征集:如何测试自部署的国产模型质量有没有掺水或者量化版
确保部署模型权重是从官方开源仓库clone拉取应该就行了吧
可以对比官方跑下对应的benchmark看下分数,差距不大应该没什么问题,毕竟官方有一些超参没有公布
跑一下分吧,多跑几次取平均值和官方比
我意思是我们目前接的上游是自己部署的国产模式,我想测试下他们有没有掺水,以及是不是量化版