通过BMCook进行模型压缩，配置了quantization和distillation，训练的loss收敛的很好。但是保存模型的时候，发现保存的checkpoint文件并没有减少，分析发现线性层的参数还是fp32的。 另外bmtrain的优化器AdamOffloadOptimizer和AdamOptimizer也只支持参数保存为fp32和fp16，并没有实现参数保存为int8。
通过BMCook进行模型压缩，配置了quantization和distillation，训练的loss收敛的很好。但是保存模型的时候，发现保存的checkpoint文件并没有减少，分析发现线性层的参数还是fp32的。
另外bmtrain的优化器AdamOffloadOptimizer和AdamOptimizer也只支持参数保存为fp32和fp16，并没有实现参数保存为int8。