tf中softmax_cross_entropy_with_logits與sparse_softmax_cross_entropy_with_logits

其實這兩個都是計算交叉熵，只是輸入數據不一樣。

#sparse 稀疏的、稀少的

    word_labels = tf.constant([2,0])
    predict_logits = tf.constant([[2.0,-1.0,3.0],[1.0,0.0,-0.5]])
    loss = tf.nn.sparse_softmax_cross_entropy_with_logits(
        labels = word_labels,logits = predict_logits)
    with tf.Session() as sess:
        print(sess.run(loss))
        #結果是：[0.32656264 0.4643688 ]

　　

word_prob_distribution = tf.constant([[0.0,0.0,1.0],[1.0,0.0,0.0]])
    loss = tf.nn.softmax_cross_entropy_with_logits(labels = word_prob_distribution,logits = predict_logits)
    with tf.Session() as sess:
        print(sess.run(loss))
        #結果是：[0.32656264 0.4643688 ]

　　

因爲softmax_cross_entropy_with_logits容許提供一個機率分佈，所以在使用時有更大的自由度。
舉個例子，一種叫label_smoothing的技巧將正確數據的機率設爲一個比1.0略小的值，將錯誤的該機率設置爲一個比0.0略大的值，
這樣能夠避免模型與數據過擬合，在某些時候能夠提升訓練效果

word_prob_smooth = tf.constant([[0.01, 0.01, 0.97], [0.98, 0.03, 0.01]])
    loss = tf.nn.softmax_cross_entropy_with_logits(labels = word_prob_smooth,logits = predict_logits)
    with tf.Session() as sess:
        print(sess.run(loss))
        #[0.37329704 0.5186562 ]