你可能不知道的 Python 技巧

時間 2020-01-29

標籤可能不知道 python 技巧欄目 Python 简体版

原文原文鏈接

英文 | Python Tips and Trick, You Haven't Already Seenhtml

原做 | Martin Heinz (martinheinz.dev)python

譯者 | 豌豆花下貓正則表達式

聲明：本文得到原做者受權翻譯，轉載請保留原文出處，請勿用於商業或非法用途。shell

有許許多多文章寫了 Python 中的許多很酷的特性，例如變量解包、偏函數、枚舉可迭代對象，可是關於 Python 還有不少要討論的話題，所以在本文中，我將嘗試展現一些我知道的和在使用的，但不多在其它文章提到過的特性。那就開始吧。編程

一、對輸入的字符串「消毒」

對用戶輸入的內容「消毒」，這問題幾乎適用於你編寫的全部程序。一般將字符轉換爲小寫或大寫就足夠了，有時你還可使用正則表達式來完成工做，可是對於複雜的狀況，還有更好的方法：數組

user_input = "This\nstring has\tsome whitespaces...\r\n"

character_map = {
 ord('\n') : ' ',
 ord('\t') : ' ',
 ord('\r') : None
}
user_input.translate(character_map)  # This string has some whitespaces... "複製代碼

在此示例中，你能夠看到空格字符「 n」和「 t」被單個空格替換了，而「 r」則被徹底刪除。這是一個簡單的示例，可是咱們能夠更進一步，使用unicodedata 庫及其 combining() 函數，來生成更大的重映射表（remapping table），並用它來刪除字符串中全部的重音。緩存

二、對迭代器切片

若是你嘗試直接對迭代器切片，則會獲得 TypeError ，提示說該對象不可取下標（not subscriptable），可是有一個簡單的解決方案：網絡

import itertools

s = itertools.islice(range(50), 10, 20)  # <itertools.islice object at 0x7f70fab88138>
for val in s:
 ...複製代碼

使用itertools.islice，咱們能夠建立一個 islice 對象，該對象是一個迭代器，能夠生成咱們所需的內容。可是這有個重要的提醒，即它會消耗掉切片前以及切片對象 islice 中的全部元素。app

（譯註：更多關於迭代器切片的內容，可閱讀 Python進階：迭代器與迭代器切片）less

三、跳過可迭代對象的開始

有時候你必須處理某些文件，它們以可變數量的不須要的行（例如註釋）爲開頭。 itertools 再次提供了簡單的解決方案：

string_from_file = """
// Author: ...
// License: ...
//
// Date: ...

Actual content...
"""

import itertools

for line in itertools.dropwhile(lambda line:line.startswith("//"), string_from_file.split("\n")):
    print(line)複製代碼

這段代碼僅會打印在初始的註釋部分以後的內容。若是咱們只想丟棄迭代器的開頭部分（在此例中是註釋），而且不知道有多少內容，那麼此方法頗有用。

四、僅支持關鍵字參數（kwargs）的函數

當須要函數提供（強制）更清晰的參數時，建立僅支持關鍵字參數的函數，可能會挺有用：

def test(*, a, b):
 pass

test("value for a", "value for b")  # TypeError: test() takes 0 positional arguments...
test(a="value", b="value 2")  # Works...複製代碼

如你所見，能夠在關鍵字參數以前，放置單個 參數來輕鬆解決此問題。若是咱們將位置參數放在 參數以前，則顯然也能夠有位置參數。

五、建立支持 with 語句的對象

咱們都知道如何使用 with 語句，例如打開文件或者是獲取鎖，可是咱們能夠實現本身的麼？是的，咱們可使用__enter__ 和__exit__ 方法來實現上下文管理器協議：

class Connection:
 def __init__(self):
  ...

 def __enter__(self):
  # Initialize connection...

 def __exit__(self, type, value, traceback):
  # Close connection...

with Connection() as c:
 # __enter__() executes
 ...
 # conn.__exit__() executes複製代碼

這是在 Python 中實現上下文管理的最多見方法，可是還有一種更簡單的方法：

from contextlib import contextmanager

@contextmanager
def tag(name):
 print(f"<{name}>")
 yield
 print(f"</{name}>")

with tag("h1"):
 print("This is Title.")複製代碼

上面的代碼段使用 contextmanager 裝飾器實現了內容管理協議。tag 函數的第一部分（yield 以前）會在進入 with 語句時執行，而後執行 with 的代碼塊，最後會執行 tag 函數的剩餘部分。

五、用slots節省內存

若是你曾經編寫過一個程序，該程序建立了某個類的大量實例，那麼你可能已經注意到你的程序忽然就須要大量內存。那是由於 Python 使用字典來表示類實例的屬性，這能使其速度變快，但內存不是很高效。一般這不是個問題，可是，若是你的程序遇到了問題，你能夠嘗試使用__slots__ ：

class Person:
    __slots__ = ["first_name", "last_name", "phone"]
    def __init__(self, first_name, last_name, phone):
    self.first_name = first_name
    self.last_name = last_name
    self.phone = phone複製代碼

這裏發生的是，當咱們定義__slots__屬性時，Python 使用固定大小的小型數組，而不是字典，這大大減小了每一個實例所需的內存。使用__slots__還有一些缺點——咱們沒法聲明任何新的屬性，而且只能使用在__slots__中的屬性。一樣，帶有__slots__的類不能使用多重繼承。

六、限制CPU和內存使用量

若是不是想優化程序內存或 CPU 使用率，而是想直接將其限制爲某個固定數字，那麼 Python 也有一個庫能作到：

import signal
import resource
import os

# To Limit CPU time
def time_exceeded(signo, frame):
 print("CPU exceeded...")
 raise SystemExit(1)

def set_max_runtime(seconds):
 # Install the signal handler and set a resource limit
 soft, hard = resource.getrlimit(resource.RLIMIT_CPU)
 resource.setrlimit(resource.RLIMIT_CPU, (seconds, hard))
 signal.signal(signal.SIGXCPU, time_exceeded)

# To limit memory usage
def set_max_memory(size):
 soft, hard = resource.getrlimit(resource.RLIMIT_AS)
 resource.setrlimit(resource.RLIMIT_AS, (size, hard))複製代碼

在這裏，咱們能夠看到兩個選項，可設置最大 CPU 運行時間和內存使用上限。對於 CPU 限制，咱們首先獲取該特定資源（RLIMIT_CPU）的軟限制和硬限制，而後經過參數指定的秒數和先前獲取的硬限制來設置它。最後，若是超過 CPU 時間，咱們將註冊令系統退出的信號。至於內存，咱們再次獲取軟限制和硬限制，並使用帶有 size 參數的`setrlimit` 和獲取的硬限制對其進行設置。

八、控制能夠import的內容

某些語言具備很是明顯的用於導出成員（變量、方法、接口）的機制，例如Golang，它僅導出以大寫字母開頭的成員。另外一方面，在 Python 中，全部內容都會被導出，除非咱們使用__all__ ：

def foo():
 pass

def bar():
 pass

__all__ = ["bar"]複製代碼

使用上面的代碼段，咱們能夠限制from some_module import * 在使用時能夠導入的內容。對於以上示例，通配導入時只會導入 bar。此外，咱們能夠將__all__ 設爲空，令其沒法導出任何東西，而且在使用通配符方式今後模塊中導入時，將引起 AttributeError。

九、比較運算符的簡便方法

爲一個類實現全部比較運算符可能會很煩人，由於有不少的比較運算符——__lt__、__le__、__gt__ 或__ge__。可是，若是有更簡單的方法呢？functools.total_ordering 可救場：

from functools import total_ordering

@total_ordering
class Number:
 def __init__(self, value):
  self.value = value

 def __lt__(self, other):
  return self.value < other.value

 def __eq__(self, other):
  return self.value == other.value

print(Number(20) > Number(3))
print(Number(1) < Number(5))
print(Number(15) >= Number(15))
print(Number(10) <= Number(2))複製代碼

這到底如何起做用的？total_ordering 裝飾器用於簡化爲咱們的類實例實現排序的過程。只須要定義__lt__ 和__eq__，這是最低的要求，裝飾器將映射剩餘的操做——它爲咱們填補了空白。

（ 譯註： 原做者的文章分爲兩篇，爲了方便讀者們閱讀，我特將它們整合在一塊兒，如下即是第二篇的內容。）

十、使用slice函數命名切片

使用大量硬編碼的索引值會很快搞亂維護性和可讀性。一種作法是對全部索引值使用常量，可是咱們能夠作得更好：

# ID   First Name   Last Name
line_record = "2        John         Smith"

ID = slice(0, 8)
FIRST_NAME = slice(9, 21)
LAST_NAME = slice(22, 27)

name = f"{line_record[FIRST_NAME].strip()} {line_record[LAST_NAME].strip()}"
# name == "John Smith"複製代碼

在此例中，咱們能夠避免神祕的索引，方法是先使用 slice 函數命名它們，而後再使用它們。你還能夠經過 .start、.stop和 .stop 屬性，來了解 slice 對象的更多信息。

十一、在運行時提示用戶輸入密碼

許多命令行工具或腳本須要用戶名和密碼才能操做。所以，若是你碰巧寫了這樣的程序，你可能會發現 getpass 模塊頗有用：

import getpass

user = getpass.getuser()
password = getpass.getpass()
# Do Stuff...複製代碼

這個很是簡單的包經過提取當前用戶的登陸名，能夠提示用戶輸入密碼。可是須注意，並不是每一個系統都支持隱藏密碼。Python 會嘗試警告你，所以切記在命令行中閱讀警告信息。

十二、查找單詞/字符串的相近匹配

如今，關於 Python 標準庫中一些晦澀難懂的特性。若是你發現本身須要使用Levenshtein distance 【2】之類的東西，來查找某些輸入字符串的類似單詞，那麼 Python 的 difflib 會爲你提供支持。

import difflib
difflib.get_close_matches('appel', ['ape', 'apple', 'peach', 'puppy'], n=2)
# returns ['apple', 'ape']複製代碼

difflib.getclosematches 會查找最佳的「足夠好」的匹配。在這裏，第一個參數與第二個參數匹配。咱們還能夠提供可選參數 n ，該參數指定要返回的最多匹配結果。另外一個可選的關鍵字參數 cutoff （默認值爲 0.6），能夠設置字符串匹配得分的閾值。

1三、使用IP地址

若是你必須使用 Python 作網絡開發，你可能會發現 ipaddress 模塊很是有用。一種場景是從 CIDR（無類別域間路由 Classless Inter-Domain Routing）生成一系列 IP 地址：

import ipaddress
net = ipaddress.ip_network('74.125.227.0/29')  # Works for IPv6 too
# IPv4Network('74.125.227.0/29')

for addr in net:
    print(addr)

# 74.125.227.0
# 74.125.227.1
# 74.125.227.2
# 74.125.227.3
# ...複製代碼

另外一個不錯的功能是檢查 IP 地址的網絡成員資格：

ip = ipaddress.ip_address("74.125.227.3")

ip in net
# True

ip = ipaddress.ip_address("74.125.227.12")
ip in net
# False複製代碼

還有不少有趣的功能，在這裏【3】能夠找到，我再也不贅述。可是請注意，ipaddress 模塊和其它與網絡相關的模塊之間只有有限的互通性。例如，你不能將 IPv4Network 實例當成地址字符串——須要先使用 str 轉換它們。

1四、在Shell中調試程序崩潰

若是你是一個拒絕使用 IDE，並在 Vim 或 Emacs 中進行編碼的人，那麼你可能會遇到這樣的狀況：擁有在 IDE 中那樣的調試器會頗有用。

你知道嗎？你有一個——只要用python3.8 -i 運行你的程序——一旦你的程序終止了， -i 會啓動交互式 shell，在那你能夠查看全部的變量和調用函數。整潔，可是使用實際的調試器（pdb ）會如何呢？讓咱們用如下程序（script.py ）：

def func():
    return 0 / 0

func()複製代碼

並使用python3.8 -i script.py運行腳本：

# Script crashes...
Traceback (most recent call last):
  File "script.py", line 4, in <module>
    func()
  File "script.py", line 2, in func
    return 0 / 0
ZeroDivisionError: division by zero
>>> import pdb
>>> pdb.pm()  # Post-mortem debugger
> script.py(2)func()
-> return 0 / 0
(Pdb)複製代碼

咱們看到了崩潰的地方，如今讓咱們設置一個斷點：

def func():
    breakpoint()  # import pdb; pdb.set_trace()
    return 0 / 0

func()複製代碼

如今再次運行它：

script.py(3)func()
-> return 0 / 0
(Pdb)  # we start here
(Pdb) step
ZeroDivisionError: division by zero
> script.py(3)func()
-> return 0 / 0
(Pdb)複製代碼

大多數時候，打印語句和錯誤信息就足以進行調試，可是有時候，你須要四處摸索，以瞭解程序內部正在發生的事情。在這些狀況下，你能夠設置斷點，而後程序執行時將在斷點處停下，你能夠檢查程序，例如列出函數參數、表達式求值、列出變量、或如上所示僅做單步執行。

pdb 是功能齊全的 Python shell，理論上你能夠執行任何東西，可是你還須要一些調試命令，可在此處【4】找到。

1五、在一個類中定義多個構造函數

函數重載是編程語言（不含 Python）中很是常見的功能。即便你不能重載正常的函數，你仍然可使用類方法重載構造函數：

import datetime

class Date:
    def __init__(self, year, month, day):
        self.year = year
        self.month = month
        self.day = day

    @classmethod
    def today(cls):
        t = datetime.datetime.now()
        return cls(t.year, t.month, t.day)

d = Date.today()
print(f"{d.day}/{d.month}/{d.year}")
# 14/9/2019複製代碼

你可能傾向於將替代構造函數的全部邏輯放入__init__，並使用*args 、**kwargs 和一堆 if 語句，而不是使用類方法來解決。那可能行得通，可是卻變得難以閱讀和維護。

所以，我建議將不多的邏輯放入__init__，並在單獨的方法/構造函數中執行全部操做。這樣，對於類的維護者和用戶而言，獲得的都是乾淨的代碼。

1六、使用裝飾器緩存函數調用

你是否曾經編寫過一種函數，它執行昂貴的 I/O 操做或一些至關慢的遞歸，並且該函數可能會受益於對其結果進行緩存（存儲）？若是你有，那麼有簡單的解決方案，即便用 functools 的lru_cache :

from functools import lru_cache
import requests

@lru_cache(maxsize=32)
def get_with_cache(url):
    try:
        r = requests.get(url)
        return r.text
    except:
        return "Not Found"


for url in ["https://google.com/",
            "https://martinheinz.dev/",
            "https://reddit.com/",
            "https://google.com/",
            "https://dev.to/martinheinz",
            "https://google.com/"]:
    get_with_cache(url)

print(get_with_cache.cache_info())
# CacheInfo(hits=2, misses=4, maxsize=32, currsize=4)複製代碼

在此例中，咱們用了可緩存的 GET 請求（最多 32 個緩存結果）。你還能夠看到，咱們可使用 cacheinfo 方法檢查函數的緩存信息。裝飾器還提供了 clearcache 方法，用於使緩存結果無效。

我還想指出，此函數不該與具備反作用的函數一塊兒使用，或與每次調用都建立可變對象的函數一塊兒使用。

1七、在可迭代對象中查找最頻繁出現的元素

在列表中查找最多見的元素是很是常見的任務，你可使用 for 循環和字典（map），可是這不必，由於 collections 模塊中有 Counter 類：

from collections import Counter

cheese = ["gouda", "brie", "feta", "cream cheese", "feta", "cheddar",
          "parmesan", "parmesan", "cheddar", "mozzarella", "cheddar", "gouda",
          "parmesan", "camembert", "emmental", "camembert", "parmesan"]

cheese_count = Counter(cheese)
print(cheese_count.most_common(3))
# Prints: [('parmesan', 4), ('cheddar', 3), ('gouda', 2)]複製代碼

實際上，Counter 只是一個字典，將元素與出現次數映射起來，所以你能夠將其用做普通字典：

print(cheese_count["mozzarella"])
# Prints: 1

cheese_count["mozzarella"] += 1

print(cheese_count["mozzarella"])
# Prints: 2複製代碼

除此以外，你還可使用 update(more_words) 方法輕鬆添加更多元素。Counter 的另外一個很酷的特性是你可使用數學運算（加法和減法）來組合和減去 Counter 的實例。

小結

在平常 Python 編程中，並不是全部這些特性都是必不可少的和有用的，可是其中一些特性可能會時不時派上用場，而且它們也可能簡化任務，而這原本可能很冗長且使人討厭。

我還要指出的是，全部這些特性都是 Python 標準庫的一部分，雖然在我看來，其中一些特性很是像是標準庫中的非標準內容。所以，每當你要在 Python 中實現某些功能時，首先可在標準庫查看，若是找不到，那你可能看得還不夠仔細（若是它確實不存在，那麼確定在某些三方庫中）。

若是你使用 Python，那麼我認爲在這裏分享的大多數技巧幾乎天天都會有用，所以我但願它們會派上用場。另外，若是你對這些 Python 技巧和騷操做有任何想法，或者若是你知道解決上述問題的更好方法，請告訴我！🙂