Python大數據處理代碼性能優化

在作大數據處理時，可能會涉及到大矩陣運算和並行計算，python原生對這些支持的不是太好，必需要進行優化。 大數據、大矩陣、並行計算時，能夠從如下幾點對python代碼進行優化：python 矩陣計算 對向量、矩陣作運算（拼接）時，使用numpy，效率會高於list。web 用joblib將numpy格式存儲矩陣爲’.jl’格式，讀入asm opcode 1,2,3,4-gram（8G）數據（格式

>>阅读原文<<