你只是训练完成后(或者准确率到达一个阶段后), 才能可视化. 在这之前, 网络没有学习到良好的参数, 你可视化了也没意义, 网络达到不错的准确率了, 你看看其实也就听个响....你告诉我, 你打算怎么办? 没错, 具有不平滑的权重的网络同样可以获得很好的结果(这种情况我都习以为常了).
◆ 那么可视化网络就不重要了非常重要, 但是不在训练这块, 而是帮助理解网络的原理这块....没错, 就是训练过拟合网络, 连测试集验证集这些都可以不用.
为什么★ 你要验证自己的训练脚本的流程对不对....Learning Rate设置合理
★ 太大: loss爆炸, 或者nan
★ 太小: 半天loss没反映(但是, LR需要降低的情况也是这样, 这里可视化网络中间结果, 不是weights, 有效果..., 俩者可视化结果是不一样的, 太小的话中间结果有点水波纹或者噪点的样子, 因为filter学习太慢的原因, 试过就会知道很明显)
★ 需要进一步降低了: loss在当前LR下一路降了下来, 但是半天不再降了