实验用网络

[ForeverRuri]

你好
我看了paper，也读了源码
但是似乎源码中使用的是ResNet101而论文中将其写成ResNet1001，不知以哪一个为准
此外，inception BN的结构似乎也很大，所以是否理解为Inception BN相比较ResNet1001是一个更小的模型，起到了knowledge distill的作用？
谢谢

[ForeverRuri]

关于Paper还有一个问题，论文里提到不直接匹配teacher和student的feature maps
As for distribution matching, it is not a good choice to directly match the samples from it, since it ignores the sample density in the space.
可是从NST损失函数来看，也是在将两个分布之间的差异减小，不知这有什么区别。
这是论文中最疑惑的部分，希望得到指教，谢谢。

[ForeverRuri]

One more question
请问eq3中的第一项cross entropy loss在哪里？似乎只有kd和mmd loss

[dawuchen]

@ForeverRuri 请问你复现过文章的结果没？效果怎样呢？我按文章的方法在caffe上复现后，加入mmd loss的效果比没加还差。。。

[huangzehao]

@ForeverRuri
你好，
（1）我们提供的源码是基于我们imagenet的实验的，之后我们会提供cifar的代码
（2）直接match teacher student的feature maps是fitnet，我们的实验中也比较了fitnet的效果。
（3）cross-entropy loss就是公式中的第一项，即分类loss，并不是kd loss。