2.10　Theano中的常用Debug技巧

Theano是最老牌的深度学习库之一。其灵活的特点使得它非常适合进行学术研究和快速实验，但是，与Tensoflow等商业框架相比，Theano的调试功能非常薄弱。其实Theano本身提供了很多辅助调试的手段，下面就介绍一些调试的技巧，让Theano调试不再那么困难。

1．通过eval查看或调试表达式结果

对于shared变量，可以通过value或者get_value来查看变量的值，但对于其他Tensorvariable，是无法查看符号变量对应的值的，这时可以调用eval函数来进行查看。具体方法如下所示：

除了语法错误外，在编写项目时还会遇到许多逻辑错误，比如除0问题。

2．对出错位置定位

Theano的神经网络在出错时，往往会提供一些出错信息。但是出错信息往往非常模糊，让人难以直接看出具体是哪一行代码出现了问题。这是因为Theano的计算图进行了一些优化，导致出错的时候难以与原始代码对应起来。此时可以通过关闭计算图的优化功能来避免这种问题的发生。THEANO_FLAGS的参数optimizer默认值是fast_run，代表最大程度的优化，正常使用中一般会保持该状态，但是如果想让调试信息更详细，就需要关闭一部分优化，将默认值修改为fast_compile或者关闭全部优化，将默认值修改为None。

    THEANO_FLAGS = ＂device = gpu0,floatX = float32,optimizer = None＂python test.py

3．打印中间结果

通常有Test Value和Print两种打印中间结果的方法，接下来将分别对这两种方法进行介绍。

1）Test Value

Theano在0.4.0之后的版本中，加入了Test Value机制，其作用是在计算图编译之前，为symbolic设定一个test_value，这样Theano就可以将这些数据代入到symbolic表达式的计算过程中，从而完成计算过程的验证，并可以打印出中间过程的运算结果。

值得注意的是，如果需要使用test_value，需要对compute_test_value的标记进行设置，常见设置如下所示：

off——关闭。建议在调试完成后，关闭test_value以提高程序速度。

ignore——test_value计算出错，不会报错。

warn——test_value计算出错，进行警告。

raise——test_value计算出错，会输出错误。

pdb——test_value计算出错，会进入pdb调试。pdb是Python自带的调试工具，功能非常强大，可以在pdb中单步查看各变量的值，甚至可以执行任意Python代码，通过import pdb可以在查看详细中间过程的同时避免过多地使用Print方法。

2）Print

通过Print方法来输出中间结果，示例如下：

输出如下所示：

    array([4.,5.,6.])
    important value__str_ = [1.,2.,3.]
    array([4.,5.,6.])

因为Theano是基于计算图以拓扑顺序运行程序的，因此各变量在计算图中被调用执行的顺序不一定和源代码的顺序一样，无法准确地控制打印出的变量顺序。

想要更详细地了解关于程序是在哪里、什么时候、怎样计算的，可以参考官网的相关内容，网址为http://deeplearning.net/software/theano/tutorial/debug_faq.html#faq-monitormode。

Print方法会严重拖慢模型的训练速度，应该尽量避免在用于训练的代码中加入Print方法。该方法可能会阻止一些计算图的优化，例如结果稳定性的优化等，如果程序出现Nan异常，可以考虑把Print去除。