Python-memcached的基本使用 - Flynewton成長點滴 - 開源中國社區

Python-memcached的基本使用 - Flynewton成長點滴 - 開源中國社區

Python-memcached的基本使用 發表於3年前(2010-12-04 00:02)   閱讀（9601） | 評論（3） 12人收藏此文章, 我要收藏 贊1 python memcached 想學Python，又想研究下memcached的客戶端，因而拿Python-memcached研究研究~~~ 1.memcached的安裝 請參考本博另外一文章《Linux下安裝memcached》 啓動一個memcached實例：memcached -m 10 -p 12000 2.Python-memcached安裝 到ftp://ftp.tummy.com/pub/python-memcached/下載最新版本的API，並解壓tar包 輸入python setup.py install命令進行安裝 3.小例子演示 將memcached.pyc拷貝到工做目錄 #!/usr/bin/env python import memcache mc = memcache.Client(['127.0.0.1:12000'],debug=0) mc.set("foo","bar") value = mc.get("foo") print value 輸出獲得bar 4.Python-memcached API總結 整個memcache.py只有1241行，至關精簡 主要方法以下： @set(key,val,time=0,min_compress_len=0) 無條件鍵值對的設置，其中的time用於設置超時，單位是秒，而min_compress_len則用於設置zlib壓縮(注:zlib是提供數據壓縮用的函式庫) @set_multi(mapping,time=0,key_prefix='',min_compress_len=0) 設置多個鍵值對，key_prefix是key的前綴，完整的鍵名是key_prefix+key, 使用方法以下   >>> mc.set_multi({'k1' : 1, 'k2' : 2}, key_prefix='pfx_') == []   >>> mc.get_multi(['k1', 'k2', 'nonexist'], key_prefix='pfx_') == {'k1' : 1, 'k2' : 2} @add(key,val,time=0,min_compress_len=0) 添加一個鍵值對，內部調用_set()方法 @replace(key,val,time=0,min_compress_len=0) 替換value，內部調用_set()方法 @get(key) 根據key去獲取value，出錯返回None @get_multi(keys,key_prefix='') 獲取多個key的值，返回的是字典。keys爲key的列表 @delete(key,time=0) 刪除某個key。time的單位爲秒，用於確保在特定時間內的set和update操做會失敗。若是返回非0則表明成功 @incr(key,delta=1) 自增變量加上delta，默認加1，使用以下 >>> mc.set("counter", "20")   >>> mc.incr("counter") 21 @decr(key,delta=1) 自減變量減去delta，默認減1 5._set方法 不少方法內部都調用了_set方法，其源碼以下： def _set(self, cmd, key, val, time, min_compress_len = 0): self.check_key(key) server, key = self._get_server(key) if not server: return 0 self._statlog(cmd) store_info = self._val_to_store_info(val, min_compress_len) if not store_info: return(0) if cmd == 'cas': if key not in self.cas_ids: return self._set('set', key, val, time, min_compress_len) fullcmd = "%s %s %d %d %d %d\r\n%s" % ( cmd, key, store_info[0], time, store_info[1], self.cas_ids[key], store_info[2]) else: fullcmd = "%s %s %d %d %d\r\n%s" % ( cmd, key, store_info[0], time, store_info[1], store_info[2]) try: server.send_cmd(fullcmd) return(server.expect("STORED") == "STORED") except socket.error, msg: if isinstance(msg, tuple): msg = msg[1] server.mark_dead(msg) return 0 注: memcached 的客戶端使用TCP連接與服務器通信, 一個運行中的memcached服務器監視一些端口, 客戶端鏈接這些端口，發送命令到服務器，讀取回應，最後關閉鏈接。（具體命令請參考《Memcached 協議中文版》）   6.python-memcached線程安全 本部分轉自http://weavesky.com/2009/01/22/is-python-memcached-threadsafe/ python-memcached是否是線程安全的 答案是確定的，前提你在使用Python 2.4+和python-memcached 1.36+ 爲何咱們須要線程安全的memcached client，由於咱們的實際應用通常是多線程的模型，例如cherrypy、twisted，若是python-memcached不是線程安全的話，引發的問題不單單是併發修改共享變量這麼簡單，是外部socket連接的數據流的混亂 python-memcached怎麼實現線程安全的呢？查看源代碼看到 try: # Only exists in Python 2.4+ from threading import local except ImportError: # TODO: add the pure-python local implementation class local(object): pass class Client(local):   很取巧的讓Client類繼承threading.local，也就是Client裏面的每個屬性都是跟當前線程綁定的。實現雖然不太優雅，可是很實在。可是別覺得這樣就能夠隨便在線程裏面用python-memcached了，由於這種thread local的作法，你的應用必需要使用thread pool的模式，而不能不停建立銷燬thread，由於每個新線程的建立，對於就會使用一個全新的Client，也就是一個全新的socket連接，若是不停打開建立銷燬thread的話，就會致使不停的建立銷燬socket連接，致使性能大量降低。幸虧，不管是cherrypy仍是twisted，都是使用了thread pool的模式