tf更新tensor/自定義層

修改Tensor特定位置的值

如 stack overflow 中提到的方案。
TensorFlow不讓你直接單獨改指定位置的值，可是留了個歪門兒，就是tf.scatter_update這個方法，它能夠批量替換張量某一維上的全部數據。

def set_value(matrix, x, y, val):
    # 提取出要更新的行
    row = tf.gather(matrix, x)
    # 構造這行的新數據
    new_row = tf.concat([row[:y], [val], row[y+1:]], axis=0)
    # 使用 tf.scatter_update 方法進正行替換
    matrix.assign(tf.scatter_update(matrix, x, new_row))

可是這麼作有沒什麼缺點呢？有，那就是慢，特別是矩陣很大的時候，那是真心的慢。
TensorFlow是對張量運算（其實二維的就是矩陣運算）有速度優化的，能不能將張量修改的操做變成一個普通的張量運算呢？能，再構建一個差值張量而後作個加法，哎，又是一條旁門邪道。

def set_value(matrix, x, y, val):
    # 獲得張量的寬和高，即第一維和第二維的Size
    w = int(matrix.get_shape()[0])
    h = int(matrix.get_shape()[1])
    # 構造一個只有目標位置有值的稀疏矩陣，其值爲目標值於原始值的差
    val_diff = val - matrix[x][y]
    diff_matrix = tf.sparse_tensor_to_dense(tf.SparseTensor(indices=[x, y], values=[val_diff], dense_shape=[w, h]))
    # 用 Variable.assign_add 將兩個矩陣相加
    matrix.assign_add(diff_matrix)

cs20si課程做業1的第3題 後一種方法的效率大概提高了4倍。

Shuffling input files with tensorflow Datasets

問題

按文件列表順序讀取

BUFFER_SIZE = 1000 # arbitrary number
# define filenames somewhere, e.g. via glob
dataset = tf.data.TFRecordDataset(filenames).shuffle(BUFFER_SIZE)

shuffle文件，而後讀取

dataset = tf.data.Dataset.from_tensor_slices(filenames)
dataset = dataset.shuffle(BUFFER_SIZE) # doesn't need to be big
dataset = dataset.flat_map(tf.data.TFRecordDataset)
dataset = dataset.map(decode_example, num_parallel_calls=5) # add your decoding logic here
# further processing of the dataset

同時從多個文件讀取

dataset = dataset.interleave(tf.data.TFRecordDataset, cycle_length=4)

TF自定義梯度

自定義梯度

多個op
See also tf.RegisterGradient which registers a gradient function for a primitive TensorFlow operation. tf.custom_gradient on the other hand allows for fine grained control over the gradient computation of a sequence of operations.

keras 不支持 去用pytorch吧