在過(guò)去的一年里，我把大部分的工作時(shí)間都花在了深度學(xué)習(xí)研究和實(shí)習(xí)上。那一年，我犯了很多大錯(cuò)誤，這些錯(cuò)誤不僅幫助我了解了ML，還幫助我了解了如何正確而穩(wěn)健地設(shè)計(jì)這些系統(tǒng)。我在谷歌Brain學(xué)到的一個(gè)主要原則是，單元測(cè)試可以決定算法的成敗，可以為你節(jié)省數(shù)周的調(diào)試和訓(xùn)練時(shí)間。

[[285889]]

然而，在如何為神經(jīng)網(wǎng)絡(luò)代碼編寫(xiě)單元測(cè)試方面，似乎沒(méi)有一個(gè)可靠的在線(xiàn)教程。即使是像OpenAI這樣的地方，也只是通過(guò)盯著他們代碼的每一行，并試著思考為什么它會(huì)導(dǎo)致bug來(lái)發(fā)現(xiàn)bug的。顯然，我們大多數(shù)人都沒(méi)有這樣的時(shí)間，所以希望本教程能夠幫助你開(kāi)始理智地測(cè)試你的系統(tǒng)!

讓我們從一個(gè)簡(jiǎn)單的例子開(kāi)始。試著找出這段代碼中的錯(cuò)誤。

def make_convnet(input_image): 
    net = slim.conv2d(input_image, 32, [11, 11], scope="conv1_11x11") 
    net = slim.conv2d(input_image, 64, [5, 5], scope="conv2_5x5") 
    net = slim.max_pool2d(net, [4, 4], stride=4, scope='pool1') 
    net = slim.conv2d(input_image, 64, [5, 5], scope="conv3_5x5") 
    net = slim.conv2d(input_image, 128, [3, 3], scope="conv4_3x3") 
    net = slim.max_pool2d(net, [2, 2], scope='pool2') 
    net = slim.conv2d(input_image, 128, [3, 3], scope="conv5_3x3") 
    net = slim.max_pool2d(net, [2, 2], scope='pool3') 
    net = slim.conv2d(input_image, 32, [1, 1], scope="conv6_1x1") 
    return net 

你看到了嗎?網(wǎng)絡(luò)實(shí)際上并沒(méi)有堆積起來(lái)。在編寫(xiě)這段代碼時(shí)，我復(fù)制并粘貼了slim.conv2d(…)行，并且只修改了內(nèi)核大小，而沒(méi)有修改實(shí)際的輸入。

我很不好意思地說(shuō)，這件事在一周前就發(fā)生在我身上了……但這是很重要的一課!由于一些原因，這些bug很難捕獲。

• 這段代碼不會(huì)崩潰，不會(huì)產(chǎn)生錯(cuò)誤，甚至不會(huì)變慢。
• 這個(gè)網(wǎng)絡(luò)仍在運(yùn)行，損失仍將下降。
• 幾個(gè)小時(shí)后，這些值就會(huì)收斂，但結(jié)果卻非常糟糕，讓你摸不著頭腦，不知道需要修復(fù)什么。

當(dāng)你唯一的反饋是最終的驗(yàn)證錯(cuò)誤時(shí)，你惟一需要搜索的地方就是你的整個(gè)網(wǎng)絡(luò)體系結(jié)構(gòu)。不用說(shuō)，你需要一個(gè)更好的系統(tǒng)。

那么，在我們進(jìn)行完整的多日訓(xùn)練之前，我們?nèi)绾握嬲プ∵@個(gè)機(jī)會(huì)呢?關(guān)于這個(gè)最容易注意到的是層的值實(shí)際上不會(huì)到達(dá)函數(shù)外的任何其他張量。假設(shè)我們有某種類(lèi)型的損失和一個(gè)優(yōu)化器，這些張量永遠(yuǎn)不會(huì)得到優(yōu)化，所以它們總是有它們的默認(rèn)值。

我們可以通過(guò)簡(jiǎn)單的訓(xùn)練步驟和前后對(duì)比來(lái)檢測(cè)它。

def test_convnet(): 
  image = tf.placeholder(tf.float32, (None, 100, 100, 3) 
  model = Model(image) 
  sess = tf.Session() 
  sess.run(tf.global_variables_initializer()) 
  before = sess.run(tf.trainable_variables()) 
  _ = sess.run(model.train, feed_dict={ 
               image: np.ones((1, 100, 100, 3)), 
               }) 
  after = sess.run(tf.trainable_variables()) 
  for b, a, n in zip(before, after): 
      # Make sure something changed. 
      assert (b != a).any() 

在不到15行代碼中，我們現(xiàn)在驗(yàn)證了至少我們創(chuàng)建的所有變量都得到了訓(xùn)練。

這個(gè)測(cè)試超級(jí)簡(jiǎn)單，超級(jí)有用。假設(shè)我們修復(fù)了前面的問(wèn)題，現(xiàn)在我們要開(kāi)始添加一些批歸一化?？纯茨隳芊癜l(fā)現(xiàn)這個(gè)bug。

def make_convnet(image_input): 
        # Try to normalize the input before convoluting 
        net = slim.batch_norm(image_input) 
        net = slim.conv2d(net, 32, [11, 11], scope="conv1_11x11") 
        net = slim.conv2d(net, 64, [5, 5], scope="conv2_5x5") 
        net = slim.max_pool2d(net, [4, 4], stride=4, scope='pool1') 
        net = slim.conv2d(net, 64, [5, 5], scope="conv3_5x5") 
        net = slim.conv2d(net, 128, [3, 3], scope="conv4_3x3") 
        net = slim.max_pool2d(net, [2, 2], scope='pool2') 
        net = slim.conv2d(net, 128, [3, 3], scope="conv5_3x3") 
        net = slim.max_pool2d(net, [2, 2], scope='pool3') 
        net = slim.conv2d(net, 32, [1, 1], scope="conv6_1x1") 
        return net 

你看到了嗎?這個(gè)非常微妙。您可以看到，在tensorflow batch_norm中，is_training的默認(rèn)值是False，所以添加這行代碼并不能使你在訓(xùn)練期間的輸入正?；?值得慶幸的是，我們編寫(xiě)的最后一個(gè)單元測(cè)試將立即發(fā)現(xiàn)這個(gè)問(wèn)題!(我知道，因?yàn)檫@是三天前發(fā)生在我身上的事。)

再看一個(gè)例子。這實(shí)際上來(lái)自我一天看到的一篇文章

(https://www.reddit.com/r/MachineLearning/comments/6qyvvg/p_tensorflow_response_is_making_no_sense/)。我不會(huì)講太多細(xì)節(jié)，但是基本上這個(gè)人想要?jiǎng)?chuàng)建一個(gè)輸出范圍為(0,1)的分類(lèi)器。

class Model: 
  def __init__(self, input, labels): 
    """Classifier model 
    Args: 
      input: Input tensor of size (None, input_dims) 
      label: Label tensor of size (None, 1).  
        Should be of type tf.int32. 
    """ 
    prediction = self.make_network(input) 
    # Prediction size is (None, 1). 
    self.loss = tf.nn.softmax_cross_entropy_with_logits( 
        logits=prediction, labelslabels=labels) 
    self.train_op = tf.train.AdamOptimizer().minimize(self.loss) 

注意到這個(gè)錯(cuò)誤嗎?這是真的很難提前發(fā)現(xiàn)，并可能導(dǎo)致超級(jí)混亂的結(jié)果。基本上，這里發(fā)生的是預(yù)測(cè)只有一個(gè)輸出，當(dāng)你將softmax交叉熵應(yīng)用到它上時(shí)，它的損失總是0。

一個(gè)簡(jiǎn)單的測(cè)試方法是確保損失不為0。

def test_loss(): 
  in_tensor = tf.placeholder(tf.float32, (None, 3)) 
  labels = tf.placeholder(tf.int32, None, 1)) 
  model = Model(in_tensor, labels) 
  sess = tf.Session() 
  loss = sess.run(model.loss, feed_dict={ 
    in_tensor:np.ones(1, 3), 
    labels:[[1]] 
  }) 
  assert loss != 0 

另一個(gè)很好的測(cè)試與我們的第一個(gè)測(cè)試類(lèi)似，但是是反向的。你可以確保只有你想訓(xùn)練的變量得到了訓(xùn)練。以GAN為例。出現(xiàn)的一個(gè)常見(jiàn)錯(cuò)誤是在進(jìn)行優(yōu)化時(shí)不小心忘記設(shè)置要訓(xùn)練的變量。這樣的代碼經(jīng)常發(fā)生。

class GAN: 
  def __init__(self, z_vector, true_images): 
    # Pretend these are implemented. 
    with tf.variable_scope("gen"): 
      self.make_geneator(z_vector) 
    with tf.variable_scope("des"): 
      self.make_descriminator(true_images) 
    opt = tf.AdamOptimizer() 
    train_descrim = opt.minimize(self.descrim_loss) 
    train_gen = opt.minimize(self.gen_loss) 

這里最大的問(wèn)題是優(yōu)化器有一個(gè)默認(rèn)設(shè)置來(lái)優(yōu)化所有變量。在像GANs這樣的高級(jí)架構(gòu)中，這是對(duì)你所有訓(xùn)練時(shí)間的死刑判決。但是，你可以通過(guò)編寫(xiě)這樣的測(cè)試來(lái)輕松地發(fā)現(xiàn)這些錯(cuò)誤：

def test_gen_training(): 
  model = Model 
  sess = tf.Session() 
  gen_vars = tf.get_collection(tf.GraphKeys.VARIABLES, scope='gen') 
  des_vars = tf.get_collection(tf.GraphKeys.VARIABLES, scope='des') 
  before_gen = sess.run(gen_vars) 
  before_des = sess.run(des_vars) 
  # Train the generator. 
  sess.run(model.train_gen) 
  after_gen = sess.run(gen_vars) 
  after_des = sess.run(des_vars) 
  # Make sure the generator variables changed. 
  for b,a in zip(before_gen, after_gen): 
    assert (a != b).any() 
  # Make sure descriminator did NOT change. 
  for b,a in zip(before_des, after_des): 
    assert (a == b).all() 

可以為鑒別器編寫(xiě)一個(gè)非常類(lèi)似的測(cè)試。同樣的測(cè)試也可以用于許多強(qiáng)化學(xué)習(xí)算法。許多行為-批評(píng)模型有單獨(dú)的網(wǎng)絡(luò)，需要根據(jù)不同的損失進(jìn)行優(yōu)化。

下面是一些我推薦你進(jìn)行測(cè)試的模式。

• 讓測(cè)試具有確定性。如果一個(gè)測(cè)試以一種奇怪的方式失敗，卻永遠(yuǎn)無(wú)法重現(xiàn)這個(gè)錯(cuò)誤，那就太糟糕了。如果你真的想要隨機(jī)輸入，確保使用種子隨機(jī)數(shù)，這樣你就可以輕松地重新運(yùn)行測(cè)試。
• 保持測(cè)試簡(jiǎn)短。不要使用單元測(cè)試來(lái)訓(xùn)練收斂性并檢查驗(yàn)證集。這樣做是在浪費(fèi)自己的時(shí)間。
• 確保你在每個(gè)測(cè)試之間重置了計(jì)算圖。

總之，這些黑箱算法仍然有很多方法需要測(cè)試!花一個(gè)小時(shí)寫(xiě)一個(gè)測(cè)試可以節(jié)省你幾天的重新運(yùn)行訓(xùn)練模型，并可以大大提高你的研究效率。因?yàn)槲覀兊膶?shí)現(xiàn)有缺陷而不得不放棄完美的想法，這不是很糟糕嗎?

這個(gè)列表顯然不全面，但它是一個(gè)堅(jiān)實(shí)的開(kāi)始!