學習筆記TF050:TensorFlow源代碼解析

TensorFlow目錄結構。

ACKNOWLEDGMENTS #TensorFlow版本聲明
ADOPTERS.md #使用TensorFlow的人員或組織列表
AUTHORS #TensorFlow做者的官方列表
BUILD
CONTRIBUTING.md #TensorFlow貢獻指導
ISSUE_TEMPLATE.md #提ISSUE的模板
LICENSE #版權許可
README.md
RELEASE.md #每次發版的change log
WORKSPACE #配置移動端開發環境
bower.BUILD
configure
models.BUILD
tensorflow #主目錄
third_party #第三方庫，包括eigen3(特徵運算，SVD、LU分解等)、gpus(支持cuda)、hadoop、jpeg、llvm、py、sycl
tools #構建cuda支持
util

tensorflow目錄結構：

BUILD
__init__.py
c
cc #採用C++進行訓練的親樣例
compiler
contrib #將經常使用功能封裝在一塊兒高級API
core #C++實現主要目錄
examples #各類示例
g3doc #針對C++、Python版本代碼文檔
go
java
opensource_only #聲明目錄
python #Python實現主要目錄
stream_executor #流處理
tensorboard #App、Web支持，以及腳本支持
tensorflow.bzl
tf_exported_symbols.lds
tf_version_script.lds
tools #工具雜項
user_ops
workspace.bzl

contirb目錄。保存經常使用功能封裝高級API。不是官方支持。高級API完善後被官方遷移到核心TensorFlow目錄或去掉。部分包(package)在https://github.com/tensorflow/models 有更完整實現。
framework:不少函數在這裏定義(get_varibles、get_global_step)，一些廢棄或不推薦(deprecated)函數。
layers:initializers.py，變量初始化函數。layers.py，層操做和權重偏置變量函數。optimizers.py，損失函數和global_step張量優化器操做。regularizers.py，帶權重正則化函數。summaries.py，摘要操做添加到tf.GraphKeys.SUMMARIES集合中的函數。
learn:使用TensorFlow進行深度學習高級API，訓練模型、評估模型、讀取批處理數據、隊列功能API封裝。
rnn:額外RNN Cell，對RNN隱藏層改進，LSTMBlockCell、GRUBlockCell、FusedRNNCell、GridLSTMCell、AttentionCellWrapper。
seq2seq:創建神經網絡seq2seq層和損失函數操做。
slim:TensorFlow-Slim(TF-Slim)，定義、訓練、評估TensorFlow複雜模型輕量級庫。TF-Slim與TensorFlow原生函數和tf.contrib其餘包自由組合。TF-Slim已逐漸遷移到TensorFlow開源Models，裏面有普遍使用卷積神經網絡圖像分類模型代友，能夠從頭訓練模型或預測訓練模型開始微調。

core目錄。C語言文件，TensorFlow原始實現。

BUILD
common_runtime #公共運行庫
debug
ditributed_runtime #分佈式執行模塊，含有grpc session、grpc worker、grpc master
example
framework #基礎功能模塊
graph
kernels #核心操做在CPU、CUDA內核實現
lib #公共基礎庫
ops
platform #操做系統實現相關文件
protobuf #.proto文件，用於傳輸時結構序列化
public #API頭文件目錄
user_ops
util
Protocol Buffers，谷歌公司建立的數據序列化(serialization)工具，結構化數據序列化，數據存儲或RPC數據交換格式。定義協議緩衝區，生成.pb.h和.pb.cc文件。定義get、set、序列化、反序列化函數。TensorFlow核心proto文件graph_def.proto、node_def.proto、op_def.proto保存在framework目錄。構圖時先構建graph_def，存儲下來，在實際計算時再轉成圖、節點、操做內存對象。
tensorflow-1.1.0/tensorflow/core/framework/node_def.proto，定義proto文件。node_def.proto定義指定設備(device)操做(op)、操做屬性(attr)。
framework 目錄還有node_def_builder.h、node_def_builder.cc、node_def_util.h、node_def_util_test.cc。在C++裏操做node_def.proto的protobuf結構。

examples目錄，深度學習例子，MNIST、Word2vec、Deepdream、Iris、HDF5。TensorFlow在Android系統上的移動端實現。擴展.ipynb文檔教程，jupyter打開。

g3doc。存放Markdown維護的TensorFlow文檔，離線手冊。g3doc/api_docs目錄內容從代碼註釋生成，不該該直接編輯。腳本tools/docs/gen_docs.sh生成API文檔。無參數調用，只從新生成Python API文檔，操做文檔，包括Python、C++定義。傳遞-a，運行腳本從新生成C++ API文檔，須要完裝doxygen。必須從tools/docs目錄調用。

python目錄。激活函數、卷積函數、池化函數、損失函數、優化方法。

tensorboad目錄。實現TensorFlow圖表可視化工具代碼，代碼基於Tornado實現網頁端可視化。http://www.tornadoweb.org/en/stable/ 。

TensorFlow源代碼學習方法。
1)瞭解本身研究的基本領域，圖像分類、物體檢測、語音識別，瞭解領域所用技術，卷積神經網絡(convolutional neural network,CNN)、循環神經網絡(recurrent neural network,RNN)，知道實現基本原理。
2)運行GitHub對應基本模型，目錄結構：

AUTHORS
CONTRIBTING.md
LICENSE
README.md
WORKSPACE
autoencoder
compression
differential_privacy
im2txt
inception
lm_1b
namignizer
neural_gpu
neural_programmer
next_frame_prdiction
resnet
slim
street
swivel
syntaxnet
textsum
transformer
tutorials
video_prediction
計算機視覺，compression(圖像壓縮)、im2txt(圖像描述)、inception(對ImageNet數據集用Inception V3架構訓練評估)、resnet(殘差網絡)、slim(圖像分類)、street(路標識別或驗證碼識別)。
天然語言處理，lm_1b(語言模型)、namignizer(起名字)、swivel(Swivel算法轉換詞向量)、syntaxnet(分詞和語法分析)、textsum(文本摘要)、tutorials目錄word2vec(詞轉換向量)。
教科書式代碼，看懂學懂有助從此本身實現模型。運行模型，調試、調參。完整讀完MNIST或CIFAR10整個項目邏輯，就掌握TensorFlow項目架構。
slim目錄。TF-Slim圖像分類庫。定義、訓練、評估複雜模型輕量級高級API。訓練、評估lenet、alexnet、vgg、inception_v一、inception_v二、inception_v三、inception_v四、resnet_v一、resnet_v2，模型位於slim/nets:

alexnet.py
alexnet_test.py
cifarnet.py
inception.py
inception_resnet_v2.py
inception_resnet_v2_test.py
inception_utils.py
inception_v1.py
inception_v1_test.py
inception_v2.py
inception_v2_test.py
inception_v3.py
inception_v3_test.py
inception_v4.py
inception_v4_test.py
lenet.py
nets_factory.py
nets_factory_test.py
overfeat.py
overfeat_test.py
resnet_utils.py
resnet_v1.py
resnet_v1_test.py
resnet_v2.py
resnet_v3_test.py
vgg.py
vgg_test.py
TF-Slim包含腳本從頭訓練模型或從預先訓練網絡開始訓練模型並微調，slim/scripts:

finetune_inception_v1_on_flowers.sh
finetune_inception_v3_on_flowers.sh
train_cifarnet_on_cifar10.sh
train_lenet_on_mnist.sh
TF-Slim包含下載標準圖像數集，轉換TensorFlow支持TFRecords格式腳本，slim/datasets:

cifar10.py
dataset_factory.py
dataset_utils.py
download_and_convert_cifar10.py
download_and_convert_flowers.py
download_and_convert_mnist.py
flowers.py
imagenet.py
mnist.py
3)結合要作的項目，找到相關論文，本身用TensorFlow實現論文內容。質的飛躍。

參考資料：
《TensorFlow技術解析與實戰》

歡迎付費諮詢(150元每小時)，個人微信：qingxingfengzi