混合專家系統（MoE）

混合專家系統（Mixture of Experts） 原理： 混合專家系統（MoE）是一種神經網絡，也屬於一種combine的模型。適用於數據集中的數據產生方式不同。不同於一般的神經網絡的是它根據數據進行分離訓練多個模型，各個模型被稱爲專家，而門控模塊用於選擇使用哪個專家，模型的實際輸出爲各個模型的輸出與門控模型的權重組合。各個專家模型可採用不同的函數（各種線性或非線性函數）。混合專家系統就是將多

>>阅读原文<<