redis的bigkey掃描腳本

    衆所周知，redis裏面的大key存在是很是危險的一件事情。由於最近的工做轉移到中間件相關的工做，所以關注了一下bigkey的掃描方法。首先介紹一下阿里雲提供的掃描腳本：

具體可見：https://yq.aliyun.com/articles/117042?t=t1

    我對這個腳本進行了一個壓力測試，在redis的內存爲15G，key的數量爲2KW，ops爲40K到80K之間，在這種狀況下，阿里雲的腳本徹底不能跑成功(估計跑出來的時間以天爲單位)，主要緣由是每確認一個key的狀況，就須要與redis交互屢次。所以，我對它的腳本進行了改造，加入了pipeline和debug object方法，腳本以下：

import sys
import redis


def find_big_key_normal(db_host, db_port, db_password, db_num):
  client = redis.StrictRedis(host=db_host, port=db_port, password=db_password, db=db_num)
  i=0
  temp = client.scan(cursor=i,count=1000)
  j =0
  while temp[0]>0 :
    i=temp[0]
    j=j+len(temp[1])
    try:
      r = client.pipeline(transaction=False)
      for k in temp[1]:
        r.debug_object(k)
      tempA = r.execute()
      x = 0
      for key in tempA:
        length = key.get("serializedlength")
        ##type = key.get("encoding")
        if length > 10240 :
          type = client.type(temp[1][x])
          print temp[1][x], type,length
        x=x+1
    except :
      print "a execption come"
    temp = client.scan(cursor=i,count=1000)

  
if __name__ == '__main__':
  if len(sys.argv) != 4:
     print 'Usage: python ', sys.argv[0], ' host port password '
     exit(1)
  db_host = sys.argv[1]
  db_port = sys.argv[2]
  db_password = sys.argv[3]
  r = redis.StrictRedis(host=db_host, port=int(db_port), password=db_password)
  nodecount = 1
  keyspace_info = r.info("keyspace")
  for db in keyspace_info:
    print 'check ', db, ' ', keyspace_info[db]
    find_big_key_normal(db_host, db_port, db_password, db.replace("db", ""))

我對上面的腳本一樣進行了一個壓力測試，在redis的內存爲15G，key的數量爲2KW，ops爲40K到80K之間，在這種狀況下：

腳本10分鐘跑完，徹底可用。

    說明：阿里雲的腳本是支持cluster的，我這個腳本是隻支持單機的，你們有興趣的能夠本身去更改。