Redis4.0模塊子系統實現簡述
1、模塊加載方法git
一、在配置文件或者啓動參數裏面經過<loadmodule /path/to/mymodule.so args>指令加載github
二、Redis啓動後，經過<module load /path/to/mymodule.so args>指令加載，另外<module list>能夠查詢當前全部已加載模塊。<module unload name>能夠卸載已經加載的模塊，注意name爲模塊的註冊名字，不必定和模塊文件名相同。redis
2、介紹
api
Redis模塊是一種動態庫，能夠用與Redis內核類似的運行速度和特性來擴展Redis內核的功能。做者認爲lua腳本只是組合Redis內核的現有功能，可是Redis模塊則能夠擴展Redis內核的功能。主要提供如下幾個方面的擴展服務器
一、能夠如lua腳本或者client同樣，經過RedisModule_Call接口直接執行redis命令並獲取執行結果。Redis稱呼這種API爲高層API。數據結構
二、能夠經過RedisModule_OpenKey接口，獲取底層鍵，並根據鍵的類型以及各種型提供的模塊操做接口進行底層操做。函數
三、自動內存管理(Automatic memory management)，能夠在回調函數中，調用RedisModule_AutoMemory打開自動內存管理功能，這樣隨後分配的RedisModuleString對象、open key等，redis會記錄下來，當回調函數返回的時候，redis會把這些資源自動釋放調。這意味着不能在自動內存管理打開的狀況下，建立RedisModuleString等對象來初始化全局變量。學習
四、redis本地類型(native types support)建立。經過提供RDB保存、RDB加載、AOF重寫等回調函數，在Redis模塊中能夠建立相似redis內部dict、list之類的數據類型。例如能夠在模塊中建立一個鏈表，並提供對應的回調函數，這樣redis在保存RDB文件的時候，就能夠把模塊中的數據保存在RDB中，在redis啓動從rdb中加載數據的時候，進而能夠恢復模塊數據狀態。測試
五、阻塞命令。在redis模塊中能夠將client阻塞，並設置超時時間。以實現相似BLPOP的阻塞命令。this
3、一個redis模塊示例
以下代碼一個簡單的redis模塊示例，添加了一個hello.rand命令。在模塊加載的時候，打印出傳入的參數，當執行hello.rand命令的時候，一樣會打印出傳入的命令參數，並返回生成的一個隨機數。關於下面的代碼，有兩個點須要說明
一、RedisModule_OnLoad是每一個Redis模塊的入口函數，在加載模塊的時候，就是經過查找這個函數的入口地址來開始執行redis模塊代碼的。
二、RedisModule_Init是在調用redis模塊API以前必須調用的初始化函數。通常應放在RedisModule_OnLoad的最開始位置。若是沒有執行RedisModule_Init，就調用redis模塊的API，則會產生空指針異常。
後面介紹redis實現的時候會進一步介紹上面的兩點
#include "../../src/redismodule.h"#include <stdlib.h>#include <string.h>void HelloRedis_LogArgs(RedisModuleString **argv, int argc){ for (int j = 0; j < argc; j++) { const char *s = RedisModule_StringPtrLen(argv[j],NULL); printf("ARGV[%d] = %s\n", j, s); }}int HelloRedis_RandCommand(RedisModuleCtx *ctx, RedisModuleString **argv, int argc) { HelloRedis_LogArgs(argv,argc); RedisModule_ReplyWithLongLong(ctx,rand()); return REDISMODULE_OK;}int RedisModule_OnLoad(RedisModuleCtx *ctx, RedisModuleString **argv, int argc) { if (RedisModule_Init(ctx,"hello",1,REDISMODULE_APIVER_1) == REDISMODULE_ERR) return REDISMODULE_ERR; HelloRedis_LogArgs(argv,argc); if (RedisModule_CreateCommand(ctx,"hello.rand", HelloRedis_RandCommand,"readonly",0,0,0)== REDISMODULE_ERR) return REDISMODULE_ERR; return REDISMODULE_OK;}
上面的模塊編譯執行後，client側執行以下命令來進行測試。
127.0.0.1:6379> module load modules/hellomodule/helloRedis.so helloarg1 helloarg2 OK127.0.0.1:6379> module list1) 1) "name" 2) "hello" 3) "ver" 4) (integer) 1127.0.0.1:6379> hello.rand(integer) 1315916238127.0.0.1:6379> hello.rand(integer) 1420937835127.0.0.1:6379> hello.rand arg test(integer) 543546598127.0.0.1:6379> module unload helloOK
redis server端顯示的以下內容。
ARGV[0] = helloarg1ARGV[1] = helloarg27779:M 19 Dec 14:33:17.032 * Module 'hello' loaded from modules/hellomodule/helloRedis.soARGV[0] = hello.randARGV[0] = hello.randARGV[0] = hello.randARGV[1] = argARGV[2] = test7779:M 19 Dec 14:34:13.604 * Module hello unloaded
4、redis模塊管理相關數據結構
Redis模塊管理涉及到的相關數據結構以下
struct RedisModule { void *handle; /* dlopen() 返回的handle. */ char *name; /* 模塊名字 */ int ver; /* 模塊版本*/ int apiver; /* 模塊API版本*/ list *types; /* 用來保存模塊的數據類型信息 */};typedef struct RedisModule RedisModule;static dict *modules; /* 全局變量 用來進行module_name(SDS) -> RedisModule ptr的hash查找*/struct moduleLoadQueueEntry { sds path; int argc; robj **argv;};struct redisServer { .... list *loadmodule_queue; //在redis啓動的時候，用來保存命令行或者配置文件中的模塊相關配置，每一個節點是一個struct moduleLoadQueueEntry dict *moduleapi; /* 導出的模塊API名字與API地址的映射 後面介紹*/ ....};struct redisServer server; static list *moduleUnblockedClients; //當模塊中阻塞的client被RedisModule_UnblockClient接口解除阻塞的時候，會放入這個鏈表，後面統一處理
其中有幾個須要額外說明一下
一、RedisModule中的types成員用來保存Redis模塊中定義的native types，每一個數據類型對應一個節點。每一個節點的類型爲struct RedisModuleType，裏面包含了rdb_load、rdb_save、aof_rewrite等回調函數，這裏沒有給出struct RedisModuleType。
二、server.loadmodule_queue這個隊列裏面保存了redis經過命令行或者配置文件傳入的模塊加載信息，每一個節點類型爲struct moduleLoadQueueEntry。如配置文件指定"module load /path/to/mymodule.so arg1 arg2"，則會構建一個struct moduleLoadQueueEntry，其中path成員爲包含/path/to/mymodule.so的SDS，argc=2，argv則包含兩個robj對象指針，robj對象分別包含着"arg1"和"arg2"。
爲何沒有在加載配置的時候，直接加載模塊，而是先保存到隊列中呢？緣由是在加載配置的時候，redis server尚未完成初始化，加載模塊的時候，會調用模塊中的RedisModule_OnLoad函數，若是此時模塊訪問Redis內部數據，那麼可能會訪問到無效的數據。所以須要加載的模塊須要先保存在隊列中，等redis初始化完畢後，在從隊列中依次加載對應的模塊。
三、關於moduleUnblockedClients，當模塊調用RedisModule_UnblockClient的時候，會先把要解除阻塞的client加入到這個鏈表中，等待當前redis的文件事件和時間事件處理完畢後，等待下一次事件前(beforeSleep->moduleHandleBlockedClients)，來集中處理(例如調用模塊註冊的reply_callback函數等)。
這裏爲何沒有直接在RedisModule_UnblockClient中處理，而是先添加到一個鏈表中，後面由redis內核處理呢？緣由是RedisModule_UnblockClient在模塊中支持線程調用，而redis內核事件處理是單線程的，所以爲了不線程競爭會先把待解除阻塞的client放入到moduleUnblockedClients鏈表中，後續交由redis內核處理。
5、module命令實現
接着說一下module命令中load、unload、list等實現
首先經過配置文件、命令行或者module load命令加載模塊的時候，以下執行
/* 加載一個模塊並初始化. 成功返回 C_OK , 失敗返回C_ERR */int moduleLoad(const char *path, void **module_argv, int module_argc) { int (*onload)(void *, void **, int); void *handle; RedisModuleCtx ctx = REDISMODULE_CTX_INIT; //加載動態庫 handle = dlopen(path,RTLD_NOW|RTLD_LOCAL); if (handle == NULL) { return C_ERR; } //查找動態庫中入口函數RedisModule_OnLoad的地址 onload = (int (*)(void *, void **, int))(unsigned long) dlsym(handle,"RedisModule_OnLoad"); if (onload == NULL) { return C_ERR; } //執行模塊中的RedisModule_OnLoad入口函數 if (onload((void*)&ctx,module_argv,module_argc) == REDISMODULE_ERR) { if (ctx.module) moduleFreeModuleStructure(ctx.module); dlclose(handle); return C_ERR; } /* Redis module 加載成功，註冊到modules全局字典中 */ dictAdd(modules,ctx.module->name,ctx.module); ctx.module->handle = handle; /*注意這裏會把ctx釋放掉，後面須要的時候，會根據modules字典中的查找到的模塊信息，構造一個ctx *這意味着在模塊函數中的ctx入參是一個堆棧上的變量， *例如經過RedisModule_AutoMemory設置ctx自動內存管理的時候，只是當次有效*/ moduleFreeContext(&ctx); return C_OK;}
module unload命令卸載一個模塊時候，執行以下簡化代碼
/* 卸載一個模塊，成功返回C_OK,失敗返回C_ERR */int moduleUnload(sds name) { struct RedisModule *module = dictFetchValue(modules,name); if (module == NULL) { return REDISMODULE_ERR; } //若是模塊導入了本地數據類型，則不容許卸載 if (listLength(module->types)) { return REDISMODULE_ERR; } /* 模塊能夠向Redis服務器註冊新的Redis命令，卸載模塊的時候，須要取消以前註冊的命令 */ unregister_cmds_of_module(module); /* 卸載動態庫 */ if (dlclose(module->handle) == -1) { char *error = dlerror(); if (error == NULL) error = "Unknown error"; } /* 從全局modules字典中刪除模塊 同時釋放module->name*/ dictDelete(modules,module->name); module->name = NULL; //釋放module佔用的內存 moduleFreeModuleStructure(module); return REDISMODULE_OK;}
module list命令執行以下簡化代碼
/* modules list簡化代碼 */void moduleList(sds name) { dictIterator *di = dictGetIterator(modules); dictEntry *de; addReplyMultiBulkLen(c,dictSize(modules)); //遍歷modules字典，獲取每一個模塊的名字和版本 while ((de = dictNext(di)) != NULL) { sds name = dictGetKey(de); struct RedisModule *module = dictGetVal(de); addReplyMultiBulkLen(c,4); addReplyBulkCString(c,"name"); addReplyBulkCBuffer(c,name,sdslen(name)); addReplyBulkCString(c,"ver"); addReplyLongLong(c,module->ver); } dictReleaseIterator(di);}
6、模塊導出符號與Redis core函數映射
在Redis提供給模塊的API中，API的名字都是相似RedisModule_<funcname>的形式，實際對應Redis core中的RM_<funcname>函數。目前只有一個例外就是RedisModule_Init這個模塊API在Redis core中的名字也是RedisModule_Init。上面咱們講過，RedisModule_Init應該是模塊入口RedisModule_OnLoad中第一個調用的函數。而RedisModule_OnLoad的工做就是完成了RedisModule_<funcname>與RM_<funcname>之間的關聯創建關係。
下面咱們首先以上面示例模塊中的RedisModule_CreateCommand這個模塊API爲例，說明怎麼關聯到RM_CreateCommand上的，而後在說明爲何這樣設計。
一、RedisModule_<funcname>與RM_<funcname>關聯創建過程
1.一、首先在Redis啓動的時候，會執行下面的初始化代碼
int moduleRegisterApi(const char *funcname, void *funcptr) { return dictAdd(server.moduleapi, (char*)funcname, funcptr);}#define REGISTER_API(name) \ moduleRegisterApi("RedisModule_" #name, (void *)(unsigned long)RM_ ## name)/* Register all the APIs we export. Keep this function at the end of the * file so that's easy to seek it to add new entries. */void moduleRegisterCoreAPI(void) { server.moduleapi = dictCreate(&moduleAPIDictType,NULL); ... //其餘的接口一樣須要經過REGISTER_API來註冊 REGISTER_API(CreateCommand); REGISTER_API(SetModuleAttribs); ...}
上面代碼等效於
//在server.moduleapi中將字符串"RedisModule_<funcname>"與函數RM_<funcname>的地址創建關聯dictAdd(server.moduleapi, "RedisModule_CreateCommand", RM_CreateCommand)dictAdd(server.moduleapi, "RedisModule_SetModuleAttribs", RM_SetModuleAttribs)
1.二、在模塊源碼中包含redismodule.h頭文件的時候，會把下面的代碼包含進來
#define REDISMODULE_API_FUNC(x) (*x)//其餘的模塊接口一樣須要經過REDISMODULE_API_FUNC來定義與RM_<funcname>一致的函數指針RedisModule_<funcname>int REDISMODULE_API_FUNC(RedisModule_CreateCommand)(RedisModuleCtx *ctx, const char *name, RedisModuleCmdFunc cmdfunc, const char *strflags, int firstkey, int lastkey, int keystep);int REDISMODULE_API_FUNC(RedisModule_SetModuleAttribs)(RedisModuleCtx *ctx, const char *name, int ver, int apiver);#define REDISMODULE_GET_API(name) \ RedisModule_GetApi("RedisModule_" #name, ((void **)&RedisModule_ ## name))static int RedisModule_Init(RedisModuleCtx *ctx, const char *name, int ver, int apiver) { void *getapifuncptr = ((void**)ctx)[0]; RedisModule_GetApi = (int (*)(const char *, void *)) (unsigned long)getapifuncptr; ... //其餘模塊接口一樣須要經過REDISMODULE_GET_API來初始化RedisModule_<funcname>指針 REDISMODULE_GET_API(CreateCommand); REDISMODULE_GET_API(SetModuleAttribs); ... RedisModule_SetModuleAttribs(ctx,name,ver,apiver); return REDISMODULE_OK;}
上面代碼進行宏展開後等效以下
//定義與RM_<funcname>類型一致的函數指針RedisModule_<funcname>int (*RedisModule_CreateCommand)(RedisModuleCtx *ctx, const char *name, RedisModuleCmdFunc cmdfunc, const char *strflags, int firstkey, int lastkey, int keystep);int (*RedisModule_SetModuleAttribs)(RedisModuleCtx *ctx, const char *name, int ver, int apiver);static int RedisModule_Init(RedisModuleCtx *ctx, const char *name, int ver, int apiver) { void *getapifuncptr = ((void**)ctx)[0]; RedisModule_GetApi = (int (*)(const char *, void *)) (unsigned long)getapifuncptr; ... //其餘模塊接口一樣須要經過REDISMODULE_GET_API來初始化RedisModule_<funcname>指針 RedisModule_GetApi("RedisModule_CreateCommand",((void **)&RedisModule_CreateCommand); RedisModule_GetApi("RedisModule_SetModuleAttribs",((void **)&RedisModule_SetModuleAttribs); ... RedisModule_SetModuleAttribs(ctx,name,ver,apiver); return REDISMODULE_OK;}
1.三、在上面moduleLoad加載模塊的時候，咱們看到會傳遞RedisModuleCtx ctx = REDISMODULE_CTX_INIT做爲入參，調用RedisModule_OnLoad，並在RedisModule_OnLoad中調用RedisModule_Init。
#define REDISMODULE_CTX_INIT {(void*)(unsigned long)&RM_GetApi, NULL, NULL, NULL, 0, 0, 0, NULL, 0, NULL, NULL, 0, NULL}/* 查找模塊請求的API，並保存在targetPtrPtr中 */int RM_GetApi(const char *funcname, void **targetPtrPtr) { dictEntry *he = dictFind(server.moduleapi, funcname); if (!he) return REDISMODULE_ERR; *targetPtrPtr = dictGetVal(he); return REDISMODULE_OK;}
所以在函數RedisModule_Init實際執行的時候，至關於把RedisModule_<funcname>指針初始化爲RM_<funcname>函數的地址了。所以隨後在模塊中調用RedisModule_<funcname>的時候，實際上調用的是RM_<funcname>。
二、爲何採用這種設計？
實際上在redismodule.h頭文件或者模塊源碼中直接extern RM_<funcname>，也是能夠直接訪問RM_<funcname>這個函數的。那麼爲何要在每一個模塊的源碼中定一個指向RM_<funcname>的函數指針RedisModule_<funcname>，並經過RedisModule_<funcname>來訪問模塊API呢？
主要是考慮到後續升級的靈活性，模塊能夠有不一樣的API版本，雖然目前API版本只有一個，可是假如後續升級後，Redis支持了新版本的API。那麼當不一樣API版本的模塊向Redis註冊的時候，Redis內核就能夠根據註冊的API版本，來把不一樣模塊中的函數指針指向不一樣的API實現函數了。這相似以面向對象中依賴於抽象而不是依賴具體的設計思路。
補充說明：
一、在redis源碼src/modules目錄下給出了一些redis模塊相關的示例和說明文檔，是不錯的學習資料。
二、https://github.com/antirez/redis/commit/85919f80ed675dad7f2bee25018fec2833b8bbde
- 1. Linux3.10.0塊IO子系統流程（0）-- 塊IO子系統概述
- 2. Metasploit模塊簡述
- 3. Linux：內核模塊實現替換系統調用的簡單例子
- 4. Redis4.0的淘汰策略簡述
- 5. 簡述類加載器子系統
- 6. SAP系統PM模塊概述-OVERVIEW
- 7. JavaScript模塊化簡述
- 8. JavaScript 模塊化簡述
- 9. 權限子系統（五）--日誌模塊
- 10. Linux CommonClock Framework分析之二 CCF子系統內部實現簡述
- 更多相關文章...
- • Lua 模塊與包 - Lua 教程
- • DTD - XML 構建模塊 - DTD 教程
- • Docker容器實戰(七) - 容器眼光下的文件系統
- • ☆基於Java Instrument的Agent實現
-
每一个你不满意的现在，都有一个你没有努力的曾经。