Python-memcached的基本使用

想學Python,又想研究下memcached的客戶端,因而拿Python-memcached研究研究~~~python

1.memcached的安裝安全

請參考本博另外一文章《Linux下安裝memcached服務器

啓動一個memcached實例:memcached -m 10 -p 12000多線程

2.Python-memcached安裝併發

ftp://ftp.tummy.com/pub/python-memcached/下載最新版本的API,並解壓tar包app

輸入python setup.py install命令進行安裝socket

3.小例子演示memcached

將memcached.pyc拷貝到工做目錄post

#!/usr/bin/env python
 
import memcache
 
mc = memcache.Client(['127.0.0.1:12000'],debug=0)
mc.set("foo","bar")
value = mc.get("foo")
print value

輸出獲得bar性能

4.Python-memcached API總結

整個memcache.py只有1241行,至關精簡

主要方法以下:

@set(key,val,time=0,min_compress_len=0)

無條件鍵值對的設置,其中的time用於設置超時,單位是秒,而min_compress_len則用於設置zlib壓縮(注:zlib是提供數據壓縮用的函式庫)

@set_multi(mapping,time=0,key_prefix='',min_compress_len=0)

設置多個鍵值對,key_prefix是key的前綴,完整的鍵名是key_prefix+key, 使用方法以下

  >>> mc.set_multi({'k1' : 1, 'k2' : 2}, key_prefix='pfx_') == []

  >>> mc.get_multi(['k1', 'k2', 'nonexist'], key_prefix='pfx_') == {'k1' : 1, 'k2' : 2}

@add(key,val,time=0,min_compress_len=0)

添加一個鍵值對,內部調用_set()方法

@replace(key,val,time=0,min_compress_len=0)

替換value,內部調用_set()方法

@get(key)

根據key去獲取value,出錯返回None

@get_multi(keys,key_prefix='')

獲取多個key的值,返回的是字典。keys爲key的列表

@delete(key,time=0)

刪除某個key。time的單位爲秒,用於確保在特定時間內的set和update操做會失敗。若是返回非0則表明成功

@incr(key,delta=1)

自增變量加上delta,默認加1,使用以下

>>> mc.set("counter", "20")  

>>> mc.incr("counter")

21

@decr(key,delta=1)

自減變量減去delta,默認減1

5._set方法

不少方法內部都調用了_set方法,其源碼以下:

def _set(self, cmd, key, val, time, min_compress_len = 0):
          self.check_key(key)
          server, key = self._get_server(key)
          if not server:
              return 0
  
          self._statlog(cmd)
  
          store_info = self._val_to_store_info(val, min_compress_len)
          if not store_info: return(0)
  
          if cmd == 'cas':
              if key not in self.cas_ids:
                  return self._set('set', key, val, time, min_compress_len)
              fullcmd = "%s %s %d %d %d %d\r\n%s" % (
                      cmd, key, store_info[0], time, store_info[1],
                      self.cas_ids[key], store_info[2])
          else:
              fullcmd = "%s %s %d %d %d\r\n%s" % (
                      cmd, key, store_info[0], time, store_info[1], store_info[2])
  
          try:
              server.send_cmd(fullcmd)
              return(server.expect("STORED") == "STORED")
          except socket.error, msg:
              if isinstance(msg, tuple): msg = msg[1]
              server.mark_dead(msg)
          return 0

注: memcached 的客戶端使用TCP連接與服務器通信, 一個運行中的memcached服務器監視一些端口, 客戶端鏈接這些端口,發送命令到服務器,讀取回應,最後關閉鏈接。(具體命令請參考《Memcached 協議中文版》)

 

6.python-memcached線程安全

本部分轉自http://weavesky.com/2009/01/22/is-python-memcached-threadsafe/

python-memcached是否是線程安全的

答案是確定的,前提你在使用Python 2.4+和python-memcached 1.36+
爲何咱們須要線程安全的memcached client,由於咱們的實際應用通常是多線程的模型,例如cherrypy、twisted,若是python-memcached不是線程安全的話,引發的問題不單單是併發修改共享變量這麼簡單,是外部socket連接的數據流的混亂
python-memcached怎麼實現線程安全的呢?查看源代碼看到

try:
    # Only exists in Python 2.4+
    from threading import local
except ImportError:
    # TODO:  add the pure-python local implementation
    class local(object):
        pass
 
class Client(local):

 

很取巧的讓Client類繼承threading.local,也就是Client裏面的每個屬性都是跟當前線程綁定的。實現雖然不太優雅,可是很實在可是別覺得這樣就能夠隨便在線程裏面用python-memcached了,由於這種thread local的作法,你的應用必需要使用thread pool的模式,而不能不停建立銷燬thread,由於每個新線程的建立,對於就會使用一個全新的Client,也就是一個全新的socket連接,若是不停打開建立銷燬thread的話,就會致使不停的建立銷燬socket連接,致使性能大量降低。幸虧,不管是cherrypy仍是twisted,都是使用了thread pool的模式

相關文章
相關標籤/搜索