轉：【AI每日播報】從TensorFlow到Theano：橫向對比七大深度學習框架

http://geek.csdn.net/news/detail/139235

說到近期的深度學習框架，TensorFlow火的不得了，雖然說有專家在朋友圈大聲呼籲，不能讓TensorFlow造成壟斷地位，但對於開發者來講，該學的東西仍是要學的。

今天的播報涉及三篇TensorFlow相關技術文章。若您想要了解更多，點擊題目（藍色大字）閱讀原文。

---

1、從TensorFlow到Theano：橫向對比七大深度學習框架

在深度學習項目開始前，選擇一個合適的框架是很是重要的事情。最近，來自數據科學公司 Silicon Valley Data Science 的數據工程師 Matt Rubashkin（UC Berkeley 博士）爲咱們帶來了深度學習 7 種流行框架的深度橫向對比。

如下是結論：

2、TensorFlow 圖像識別功能在樹莓派上的應用

上週 TensorFlow 1.0 的發佈使之成爲最有前景的深度學習框架，也在中國 AI 社區中掀起了學習 TensorFlow 的熱潮，不過光跑例子怎能脫穎而出？本文是一篇實戰派文章，介紹了做者如何創造性的將深度學習與物聯網結合起來解決一個實際問題的思路和過程，很是具備啓發性。

3、TensorFlow：HMM隱狀態鏈的最優化解法

HMM（隱馬爾科夫模型）有三種核心問題：

1. 給定隱狀態鏈、轉移矩陣、發射矩陣，求狀態鏈發生機率
2. 給定狀態鏈求轉移矩陣和發射矩陣
3. 給定狀態鏈、轉移矩陣、發射矩陣，求隱狀態鏈。

三類問題分別對應前向-後向算法、最大熵算法、維特比算法。鑑於第三類問題本質上是優化問題，因此我嘗試用TensorFlow進行求解。該方法不比維特比算法效率好，不過能夠用在更加複雜的機率圖模型上。

4、照亮你機器學習之路的5個Python庫

機器學習使人興奮，但具體工做複雜而困難。一般它涉及不少手動提高——彙總工做流及傳輸渠道，設置數據源，以及在內部部署和雲部署的資源之間來回分流。

用來提升工做效率的手頭工具越多越好。慶幸的是，Python 是一個威力巨大的工具語言，在大數據和機器學習之中被普遍使用。下面是 5 個 Python 庫，幫助你緩解來自交易提高的重負。

1. PyWren：一個帶有強大前提的簡單包，能使你運行基於 Python 的科學計算工做量，以做爲 AWS Lambda 函數的多個例子。
2. Tfdeploy：將訓練過的TensorFlow 模型輸出，藉由 Tfdeploy，你能夠在 Python 中使用模型。
3. Luigi：用於解決全部一般與長期運行成批處理做業有關的管道問題。
4. Kubelib：若是你採用 Kubernetes 做爲完成機器學習工做的編排系統，Kubelib 爲 Kubernetes 提供了一系列的 Python 接口。
5. PyTorch：是 Torch 機器學習框架的一個工具，不只爲 Torch 添加了 Python 端口，也增長了許多其餘的便利，好比 GPU 加速，共享內存完成多重處理等。

5、深層神經網絡結構及可能存在的致命問題詳解

本文對深層神經網絡可能存在的致命問題進行了較爲詳細的闡述，能夠幫助避免一些常見的坑。這些問題包括：（如下僅列舉部分，點擊題目，閱讀原文，探索更多）

1. 非凸優化：這個問題得從線性迴歸一族的初始化Weight提及。線性家族中，W的初始化一般被置爲0.若是你曾經寫過MLP的話，應該犯過這麼一個錯誤，將隱層的初始化設爲0。 而後，這個網絡連基本的異或門函數[參考]都難以模擬…
2. Gradient Vanish：這個問題其實是由激活函數不當引發的，多層使用Sigmoid系函數，會使得偏差從輸出層開始呈指數衰減。於是，最滑稽的一個問題就是，靠近輸出層的隱層訓練的比較好，而靠近輸入層的隱層幾乎不能訓練。
3. 過擬合：頂層神經元在對輸入數據直接點對點記憶，而不是提取出有效特徵後再記憶。 這就是神經網絡的最後一個致命問題：過擬合，龐大的結構和參數使得，儘管訓練error降的很低，可是test error卻高的離譜。