深度学习自学（十八）：caffe网络调试设置-调参相关技巧

本文主要记录caffe调试配置超参数和网络结构相关参数。

1、use_global_stats

Batch Normalization层中有个参数use_global_stats，它表示是否使用caffe内部的均值和方差。

训练的时候，要将use_global_stats设置为false

而测试的时候将use_global_stats设置为true。

2、caffe下多gpu训练-NCCL配置

（1）下载NCCL1.0：https://github.com/NVIDIA/nccl/archive/master.zip

（2）安装NCCL

        cd nccl-master

        sudo make CUDA_HOME=/usr/local/cuda-8.0/   #根据自己cuda路径修改CUDA_HOME

        sudo make install

        sudo ldconfig

（3）修改caffe目录下的Makefile.config 

       USE_NCCL:=1 #把前面的#注释掉

（4）重新编译caffe

      make all -j8

      make pycaffe -j8

      make test

      make runtest -j8 #如果报错在前面加sudo