深度學習系統cxxnet V2

機器學習日報 號外。訂閱請給 hao@memect.com 發封郵件，標題是 " 訂閱機器學習日報 "

@好東西傳送門 整理於 2015-03-18

15 條精選討論（選自459條原始評論和轉發）

 陳天奇怪   原微博 2015-03-17 15:12

發佈深度學習系統cxxnet V2，和小夥伴 @李沐M @antinucleon @winsty 完成，文章解析了簡潔高效神經網絡的技術細節。代碼 http://t.cn/Rws2Ws6 http://t.cn/Rws26qV

winsty 原微博 轉發於2015-03-17 15:14

這纔是今天的大新聞[嘻嘻] 跟這個比起來kaggle神馬的都是浮雲啦[嘻嘻] 感謝大神們這幾個月來的指導，真心學習了不少[嘻嘻]

createamind 評論於2015-03-17 15:33  回覆 @hbyido 「代碼」

及時更新的最新技術：咱們將及時跟進學術界的動態，例如如今已經支持MSRA的ParametricRelu和Google的Batch Normalization 6. Caffe模型轉換：支持將訓練好的Caffe模型直接轉化爲cxxnet模型（本週內上線！）

算文解字 評論於2015-03-17 16:00

不知道有沒有人系統比較過cxxnet和caffe?前者更「輕」更靈活？後者優點在於文本文件完成配置？

m1nl1n 評論於2015-03-17 16:09

Good job, 咱們今天也發佈了Purine，支持多機多卡的並行。expression template的確很優美！我私信找你討論點問題吧。

掩青門 評論於2015-03-17 17:14

贊，以前的xgboost讓我受益不淺~ 奈何c++功底不夠，mshadow的精髓領會不了，繼續學習

Shadow也叫高大壯 原微博 轉發於2015-03-17 18:22  回覆 @Hagnesta_Hill 「這纔是玩機器學習的大嬸。。」

@劉小小喂 i have no idea what they talking about, but 竟然feels咱們有點膩害[doge]

聰老師ZJU永遠馬屁精 原微博 轉發於2015-03-17 18:39  回覆 @winsty 「這纔是今天的大新聞[嘻嘻]」

這個工做的工做量、意義和精細程度，在國內的話，估計能夠夠一個研究組拿下大項目，養活一批人，幹上好幾年。可幾位大神幾個月就搞定了。古代赤手空拳能打贏十個普通人，戰鬥力爆表。如今這個社會，一個頂尖人才抵上100個普通人才已不罕見

Mai燦不Mai萌 原微博 轉發於2015-03-17 22:20  回覆 @鄭偉詩_中大教書細路

mark 一下，說不定course project 會用到。

她男友 原微博 轉發於2015-03-18 00:35  回覆 @劉江總編 「竟然沒有上GitHub熱榜，不科學啊...」

和Theano相比優點在哪？不要告訴我這是Theano的中文翻譯版

BigData大數據 原微博 轉發於2015-03-18 03:09  回覆 @BigData大數據

剛到主頁看了一下代碼，http://t.cn/Rws2Ws6 感受跟CAFFE很相似，也是用的BLOB作DATA，難道就是把GPU的BACKEND本身優化了一下，用了本身的mshadow ？此外把CAFFE提供的KV的CONF.，封裝了一個皮提供PYTHON？

陳天奇怪 評論於2015-03-18 04:58

回覆@BigData大數據: 神經網絡的更新和layer的邏輯相似是很正常的，對比各類實現都會差很少。 主要的差異已經在長微博裏面指出了，更加清晰高效的mshadow代碼。和基於mshadow-ps的分佈式接口。 若是一眼看上去看起來和單機的代碼很像正是咱們但願看到的，開發簡單但功能不平凡

BigData大數據 評論於2015-03-18 05:17

回覆@陳天奇怪:第一映像很好，我又讀了一下代碼，mshadow仍是頗有必要的，能夠有效減小GPU的通信開銷，此外mshadow-ps可使得多節點分佈式成爲可能，擴展了Caffe的功能，Penuum也能夠作到相似的功能，大家對比他們的優點？PS方面，仍是GPU方面？此外和今天發佈的PURINE對比分析？建議寫個RELATED WORK

陳天奇怪 評論於2015-03-18 05:22

回覆@BigData大數據: mshadow-ps更多的是接口上面的設計，實現徹底能夠採用任何通訊框架。由於GPU線程模型和CPU不一樣的緣故，原有的接口作不到GPU異步。mshadow-ps在CPU PS的基礎上支持了GPU的異步操做，有興趣能夠看看mshadow的多卡神經網絡代碼，咱們目前默認的分佈式後端是@李沐M 的ps

李沐M 評論於2015-03-18 05:24

回覆@BigData大數據: petuum他們在開公司，彷佛不是很願意share他們的人力

BigData大數據 評論於2015-03-18 05:27  回覆 None 「回覆@BigData大數據: petuum他們...」

回覆@李沐M: petuum除了是XING緣由，它的優點？他們連PS都沒有！ [呵呵]