8個Python高效數據分析的技巧

一行代碼定義List

---

---

下面是使用For循環建立列表和用一行代碼建立列表的對比。

x = [1,2,3,4]
out = []
for item in x:
    out.append(item**2)
print(out)
[1, 4, 9, 16]
# vs.
x = [1,2,3,4]
out = [item**2 for item in x]
print(out)
[1, 4, 9, 16]

Lambda表達式

---

---

厭倦了定義用不了幾回的函數？ Lambda表達式是你的救星！ Lambda表達式用於在Python中建立小型，一次性和匿名函數對象。 它能替你建立一個函數。

lambda表達式的基本語法是：

lambda arguments: expression

請注意，只要有一個lambda表達式，就能夠完成常規函數能夠執行的任何操做。 你能夠從下面的例子中，感覺lambda表達式的強大功能：

double = lambda x: x * 2
print(double(5))
10

Map和Filter

---

---

一旦掌握了lambda表達式，學習將它們與Map和Filter函數配合使用，能夠實現更爲強大的功能。

具體來講，map經過對列表中每一個元素執行某種操做並將其轉換爲新列表。 在本例中，它遍歷每一個元素並乘以2，構成新列表。 請注意，list()函數只是將輸出轉換爲列表類型。

# Map
seq = [1, 2, 3, 4, 5]
result = list(map(lambda var: var*2, seq))
print(result)
[2, 4, 6, 8, 10]

Filter函數接受一個列表和一條規則，就像map同樣，但它經過比較每一個元素和布爾過濾規則來返回原始列表的一個子集。

# Filter
seq = [1, 2, 3, 4, 5]
result = list(filter(lambda x: x > 2, seq))
print(result)
[3, 4, 5]

Arange和Linspace

---

---

Arange返回給定步長的等差列表。 它的三個參數start、stop、step分別表示起始值，結束值和步長， 請注意，stop點是一個「截止」值，所以它不會包含在數組輸出中。

# np.arange(start, stop, step)
np.arange(3, 7, 2)
array([3, 5])

Linspace和Arrange很是類似，但略有不一樣。 Linspace以指定數目均勻分割區間。 因此給定區間start和end，以及等分分割點數目num，linspace將返回一個NumPy數組。 這對繪圖時數據可視化和聲明座標軸特別有用。

# np.linspace(start, stop, num)
np.linspace(2.0, 3.0, num=5)
array([ 2.0,  2.25,  2.5,  2.75, 3.0])

Axis表明什麼？

---

---

在Pandas中，刪除一列或在NumPy矩陣中求和值時，可能會遇到Axis。 咱們用刪除一列（行）的例子：

df.drop('Column A', axis=1)
df.drop('Row A', axis=0)

若是你想處理列，將Axis設置爲1，若是你想要處理行，將其設置爲0。 但爲何呢？ 回想一下Pandas中的shape

df.shape
(# of Rows, # of Columns)

從Pandas DataFrame中調用shape屬性返回一個元組，第一個值表明行數，第二個值表明列數。若是你想在Python中對其進行索引，則行數下標爲0，列數下標爲1，這很像咱們如何聲明軸值。

Concat，Merge和Join

---

---

若是您熟悉SQL，那麼這些概念對您來講可能會更容易。 不管如何，這些函數本質上就是以特定方式組合DataFrame的方式。 在哪一個時間跟蹤哪個最適合使用可能很困難，因此讓咱們回顧一下。

Concat容許用戶在表格下面或旁邊追加一個或多個DataFrame（取決於您如何定義軸）。

Merge將多個DataFrame合併指定主鍵（Key）相同的行。

Join，和Merge同樣，合併了兩個DataFrame。 但它不按某個指定的主鍵合併，而是根據相同的列名或行名合併。

Pandas Apply

---

---

Apply是爲Pandas Series而設計的。若是你不太熟悉Series，能夠將它想成相似Numpy的數組。
Apply將一個函數應用於指定軸上的每個元素。 使用Apply，能夠將DataFrame列（是一個Series）的值進行格式設置和操做，不用循環，很是有用！

df = pd.DataFrame([[4, 9],] * 3, columns=['A', 'B'])
 df
   A  B
0  4  9
1  4  9
2  4  9

df.apply(np.sqrt)
     A    B
0  2.0  3.0
1  2.0  3.0
2  2.0  3.0

 df.apply(np.sum, axis=0)
A    12
B    27

df.apply(np.sum, axis=1)
0    13
1    13
2    13

Pivot Tables

---

---

最後是Pivot Tables。 若是您熟悉Microsoft Excel，那麼你也許據說過數據透視表。 Pandas內置的pivot_table函數以DataFrame的形式建立電子表格樣式的數據透視表,，它能夠幫助咱們快速查看某幾列的數據。 下面是幾個例子：很是智能地將數據按照「Manager」分了組

pd.pivot_table(df, index=["Manager", "Rep"])

或者也能夠篩選屬性值

pd.pivot_table(df,index=["Manager","Rep"],values=["Price"])