學習筆記TF043:TF.Learn 機器學習Estimator、DataFrame、監督器Monitors

線性、邏輯迴歸。input_fn()創建簡單兩個特徵列數據,用特證列API創建特徵列。特徵列傳入LinearClassifier創建邏輯迴歸分類器,fit()、evaluate()函數,get_variable_names()獲得全部模型變量名稱。可使用自定義優化函數,tf.train.FtrlOptimizer(),能夠任意改動傳到LinearClassifier。算法

隨機森林。包含多個決策樹分類器及迴歸算法。處理不平衡分類資料集,極大平衡偏差。Kaggle數據科學競賽,延伸版XGBoost。編程

TensorForestEstimator,tensor_forest.ForestHParams設置隨機森林參數,多少棵樹、節點數目上限、特徵類別數目。微信

傳進TensorForestEstimator初始化隨機森林Estimator。數據特徵列、類別列轉換成float32格式,保證TensorForestExtimator訓練更快擬合。Scikit-learn風格fit()方法。網絡

隨機森林容易過擬合,經常使用防止過擬合方法是損失減小的速度變慢或徹底中止減小,提早中止模型訓練。Monitor模塊。random_forest模塊自帶LossMonitor。設定每隔100步Monitor檢查損失減小速度,連續100次迭代損失沒有減小,Monitor中止整個模型訓練。session

K均值聚類。多維空間每一個點劃分到K個聚類,每一個點屬於離它最近均值對應聚類。NumPy製造適合作聚類數據。make_random_centers函數隨機生成num_dims個維度數據集聚類num_centers箇中心點。make_random_points函數根據生成聚類中心點隨便生成num_points個點。生成10000個點,6個隨機聚類中心點。factorization模塊KMeans初始化聚類方法,隨機初始化RANDOM_INIT,傳入RunConfig和、聚類中心數初始化KMeans Estimator對象,Scikit-learn風格fit()、predict()。KMeans clusters()函數看訓練數據集每一個點聚類分佈。KMeans Estimator,predict()預測新數據點聚類,score()預測每一個點和最近聚類距離總和,transform()計算每一個點和模型判斷聚類中心距離。app

支持向量機。各類不一樣kernel或不一樣距離方程,針對不一樣特徵數據創建不一樣線性及非線性模型。同時最小化經驗偏差與最大化幾何邊緣區,最大邊緣區分類器。文本、圖像分類。TF.Learn SVM Extimator API創建支持向量機模型。定義input_fn()創建有兩個數據特徵列、一個ID列、一個標識列模擬數據。contrib.layers FeatureColumn API 將feature1、feature2轉換方便Estimator的FeatureColumn。特徵列、ID列傳入SVM初始化支持向量機,參數調節。l1_regularization、l2_regularization加正規化防止過分擬合問題(特徵過多、例子很少,容易發生)。fit()、predict()。dom

DataFrame。TF.Learn包括獨立DataFrame模塊。相似Pandas、Spark、R編程語言DataFrame。提供TF.Learn讀入數據迭代,讀入各類數據類型(pandas.DataFrame、tensorflow.Example、NumPy),FeedingQueueRunner數據分批讀入,存在Queue,方便Estimator模型訓練。NumPy eye()建簡單對角矩陣,TensorFlowDataFrame.from_numpy()把NumPy矩陣轉爲TensorFlow DataFrame。能夠像Pandas讀入各類文件類型。編程語言

用TensorFlowDataFrame讀入文件或數據類型後,run()製造數據批量(batch)生成器,Python yield生成generator,生成器維持數據列名和數據字典mapping。調節number_batches選擇生成batch數量,選擇性用本身的graph、session,數據batch存到session coordinator。batch()從新改變batch大小。數據洗一遍打亂順序。split(),DataFrame分多個。select_rows()選擇具體行數據。函數

監督器Monitors。TF.Learn自帶Monitor,各類logging及監督控制訓練過程。5個等級log,嚴重性最小到最大排列,DEBUG、INFO、WARN、ERROR、FATAL。選擇只打印設置等級或更嚴重的log。TensorFlow默認log等級 WARN。模型訓練log,設INFO。CaptureVariable 指定變量值存儲到Collection。PrintTensor打印Tensor值。SummarySaver存儲Summary協議緩衝(Protocol Buffer)。ValidationMonitor訓練打印多個評估Metrics,監督模型訓練,提早中止訓練防止模型過分擬合。優化

TF.Learn自帶learn.datasets.base.load_csv()讀入CSV數據文件。定義評估模型metrics字典,contrib.metrics模塊streaming_accuracy、streaming_precision、streaming_recall評估模型準確度、精確度、召回率。validation_metrics創建validation_monitor,提供評估數據及目標。提供every_n_steps指示每50步實行ValidationMonitor。validation_metrics傳入metrics。early_stopping_netric提早中止監測metric。early_stopping_metric_minimize=True代表最小化前提供early_stopping_metric。early_stopping_rounds代表超過200步訓練損失不減小,ValidationMonitor中止Estimator訓練。

創建深度神經網絡分類器DNNClassifier,三層神經網絡,每層10、1五、10個隱藏單元。分類器fit()指定監督器validation_monitor,指定多個監督器實現不一樣功能監督,validation_monitor,debug_monitor,print_monitor。

evaluate()、predict(),新數據評估模型準確度。

TF.Learn生成log及checkpoint文件能夠直接讀入TensorBoard可視化。

參考資料: 《TensorFlow實戰》

歡迎付費諮詢(150元每小時),個人微信:qingxingfengzi

相關文章
相關標籤/搜索