[Android]高性能MMKV數據交互分析-MMKV初始化
你們好，我係蒼王。 如下是我這個系列的相關文章，有興趣能夠參考一下，能夠給個喜歡或者關注個人文章。c++
[Android]如何作一個崩潰率少於千分之三噶應用app--章節列表編程
組件化羣1已經滿員，進來的能夠加羣2 763094035bash
MMKV框架初始化
MMKV.initialize(this);
public static String initialize(Context context) {
//建立存儲目錄
rootDir = context.getFilesDir().getAbsolutePath() + "/mmkv";
initialize(rootDir);
return rootDir;
}
private static native void initialize(String var0);
複製代碼
以後是調用jni中的操做了多線程
extern "C" JNIEXPORT JNICALL void
Java_com_tencent_mmkv_MMKV_initialize(JNIEnv *env, jobject obj, jstring rootDir) {
//c++中大於0和非空都是爲真
if (!rootDir) {
return;
}
//string轉爲char*
const char *kstr = env->GetStringUTFChars(rootDir, nullptr);
if (kstr) {
MMKV::initializeMMKV(kstr);
//初始化完後釋放kstr
env->ReleaseStringUTFChars(rootDir, kstr);
}
}
複製代碼
MMKV初始化， pthread_once()函數詳解架構
在多線程環境中，有些事僅須要執行一次。一般當初始化應用程序時，能夠比較容易地將其放在main函數中。但當你寫一個庫時，就不能在main裏面初始化了，你能夠用靜態初始化，但使用一次初始化（pthread_once）會比較容易些。app
int pthread_once(pthread_once_t *once_control, void (*init_routine) (void))；框架
功能：本函數使用初值爲PTHREAD_ONCE_INIT的once_control變量保證init_routine()函數在本進程執行序列中僅執行一次。函數
在多線程編程環境下，儘管pthread_once()調用會出如今多個線程中，init_routine()函數僅執行一次，究竟在哪一個線程中執行是不定的，是由內核調度來決定。 那麼initialize方法只會執行一次。組件化
void MMKV::initializeMMKV(const std::string &rootDir) {
//進程控制
static pthread_once_t once_control = PTHREAD_ONCE_INIT;
//進程中只執行一次initialize
pthread_once(&once_control, initialize);
//保存文件地址
g_rootDir = rootDir;
//strdup字符串拷貝
//c_str()函數返回一個指向正規C字符串的指針, 內容與本string串相同.這是爲了與c語言兼容，在c語言中沒有string類型，故必須經過string類對象的成員函數c_str()把string 對象轉換成c中的字符串樣式。注意：必定要使用strcpy()函數 等來操做方法c_str()返回的指針
//須要分配空間的
char *path = strdup(g_rootDir.c_str());
//建立MmapedFile
mkPath(path);
//清除地址空間
free(path);
MMKVInfo("root dir: %s", g_rootDir.c_str());
}
void initialize() {
//創建哈希表<id,mmkv>
// 使用unordered_map優勢由於內部實現了哈希表，所以其查找速度很是的快 ，缺點哈希表的創建比較耗費時間
g_instanceDic = new unordered_map<std::string, MMKV *>;
//初始化線程鎖
g_instanceLock = ThreadLock();
//testAESCrypt();
MMKVInfo("page size:%d", DEFAULT_MMAP_SIZE);
}
//使用getpagesize函數得到一頁內存大小
//系統給咱們提供真正的內存時，用頁爲單位提供，一次最少提供一頁的真實內存空間
//分配內存空間：你真實的分配了多少內存，就使用多少內存，不要越界使用
//可是系統提供的真實內存空間是以頁來提供的。
const int DEFAULT_MMAP_SIZE = getpagesize();
複製代碼
建立保存的文件夾，遍歷地址名，而後循環建立ui
bool mkPath(char *path) {
//文件（夾）信息結構體
struct stat sb = {};
bool done = false;
char *slash = path;
while (!done) {
//拿出文件夾名
slash += strspn(slash, "/");
slash += strcspn(slash, "/");
//遍歷到最尾部
done = (*slash == '\0');
*slash = '\0';
//若是文件夾不爲空
if (stat(path, &sb) != 0) {
//建立文件夾
if (errno != ENOENT || mkdir(path, 0777) != 0) {
MMKVWarning("%s", path);
return false;
}
} else if (!S_ISDIR(sb.st_mode)) { //若是不是文件夾，拋錯誤
MMKVWarning("%s: %s", path, strerror(ENOTDIR));
return false;
}
*slash = '/';
}
return true;
}
複製代碼
保存文件初始化
//須要填寫mmapId，線程（單線程，多線程），加密密鑰
MMKV.mmkvWithID(mmapID, MMKV.SINGLE_PROCESS_MODE, cryptKey);
public static MMKV mmkvWithID(String mmapID, int mode, String cryptKey) {
if(rootDir == null) { //若是主目錄未初始化拋出異常
throw new IllegalStateException("You should Call MMKV.initialize() first.");
} else {
//id 不能超過46個字節
verifyMMID(mmapID);
創立出jni中分配的ID
long handle = getMMKVWithID(mmapID, mode, cryptKey);
return new MMKV(handle);
}
}
//mmkv的id是long類型
private static native long getMMKVWithID(String var0, int var1, String var2);
複製代碼
extern "C" JNIEXPORT JNICALL jlong Java_com_tencent_mmkv_MMKV_getMMKVWithID(
JNIEnv *env, jobject obj, jstring mmapID, jint mode, jstring cryptKey) {
MMKV *kv = nullptr; //初始化爲空指針
if (!mmapID) { //若是爲空，直接返回空指針
return (jlong) kv;
}
string str = jstring2string(env, mmapID); //格式化mmapId
if (cryptKey != nullptr) {
string crypt = jstring2string(env, cryptKey); //格式化密鑰
if (crypt.length() > 0) {
//建立文件，大小爲一頁，和加密密鑰
kv = MMKV::mmkvWithID(str, DEFAULT_MMAP_SIZE, (MMKVMode) mode, &crypt);
}
}
if (!kv) { //若是建立失敗，從新建立一個不加密的文件
kv = MMKV::mmkvWithID(str, DEFAULT_MMAP_SIZE, (MMKVMode) mode, nullptr);
}
return (jlong) kv;
}
MMKV *MMKV::mmkvWithID(const std::string &mmapID, int size, MMKVMode mode, string *cryptKey) {
//若是mmapId爲空範圍空指針
if (mmapID.empty()) {
return nullptr;
}
//設定單例鎖
SCOPEDLOCK(g_instanceLock);
//在記錄文件的map中找mampID，對應的mapFile文件
auto itr = g_instanceDic->find(mmapID);
//返回結束位置胡迭代器
//若是已經存在
if (itr != g_instanceDic->end()) {
//返回如今對應mmkv
MMKV *kv = itr->second;
return kv;
}
//新建一個mmkv
auto kv = new MMKV(mmapID, size, mode, cryptKey);
//保存到map中
(*g_instanceDic)[mmapID] = kv;
return kv;
}
複製代碼
建立MMKV 初始化
MMKV::MMKV(const std::string &mmapID, int size, MMKVMode mode, string *cryptKey)
: m_mmapID(mmapID)
, m_path(mappedKVPathWithID(m_mmapID, mode)) //構建mmkv文件地址
, m_crcPath(crcPathWithID(m_mmapID, mode)) //crc文件
, m_metaFile(m_crcPath, DEFAULT_MMAP_SIZE, (mode & MMKV_ASHMEM) ? MMAP_ASHMEM : MMAP_FILE) //初始化MmapedFile
, m_crypter(nullptr) //加密器
, m_fileLock(m_metaFile.getFd()) //文件鎖
, m_sharedProcessLock(&m_fileLock, SharedLockType) //進程鎖
, m_exclusiveProcessLock(&m_fileLock, ExclusiveLockType) //專用進程鎖
, m_isInterProcess((mode & MMKV_MULTI_PROCESS) != 0) //是否多進程
, m_isAshmem((mode & MMKV_ASHMEM) != 0) { //是否開啓共享內存
m_fd = -1;
m_ptr = nullptr;
m_size = 0;
m_actualSize = 0;
m_output = nullptr;
if (m_isAshmem) { //若是須要共享內存，須要使用建立共享共享內存的MmapedFile
m_ashmemFile = new MmapedFile(m_mmapID, static_cast<size_t>(size), MMAP_ASHMEM);
//讀取匿名內存的文件fd地址
m_fd = m_ashmemFile->getFd();
} else {
m_ashmemFile = nullptr;
}
if (cryptKey && cryptKey->length() > 0) { //是否存在加密密鑰，存在則建立AES加密器
m_crypter = new AESCrypt((const unsigned char *) cryptKey->data(), cryptKey->length());
}
//是否直接衝文件加載
m_needLoadFromFile = true;
m_crcDigest = 0;
//是否開啓進程鎖
m_sharedProcessLock.m_enable = m_isInterProcess;
//是否開啓專用進程鎖
m_exclusiveProcessLock.m_enable = m_isInterProcess;
// sensitive zone
{
//單例鎖
SCOPEDLOCK(m_sharedProcessLock);
loadFromFile();
}
}
複製代碼
讀取文件
void MMKV::loadFromFile() {
if (m_isAshmem) { //是否使用匿名內存，是則初始化匿名內存
loadFromAshmem();
return;
}
m_metaInfo.read(m_metaFile.getMemory());
//打開文件，m_fd文件描述符
m_fd = open(m_path.c_str(), O_RDWR | O_CREAT, S_IRWXU);
if (m_fd < 0) { //文件不存在
MMKVError("fail to open:%s, %s", m_path.c_str(), strerror(errno));
} else {
m_size = 0;
struct stat st = {0};
if (fstat(m_fd, &st) != -1) { //文件狀態是否可讀
m_size = static_cast<size_t>(st.st_size);
}
// round up to (n * pagesize)
if (m_size < DEFAULT_MMAP_SIZE || (m_size % DEFAULT_MMAP_SIZE != 0)) { //文件大小有內容，且小於1頁
size_t oldSize = m_size;
m_size = ((m_size / DEFAULT_MMAP_SIZE) + 1) * DEFAULT_MMAP_SIZE;
if (ftruncate(m_fd, m_size) != 0) { //指定文件大小輸出是否可行
MMKVError("fail to truncate [%s] to size %zu, %s", m_mmapID.c_str(), m_size,
strerror(errno));
m_size = static_cast<size_t>(st.st_size);
}
zeroFillFile(m_fd, oldSize, m_size - oldSize); //清空文件
}
//將文件映射到內存
m_ptr = (char *) mmap(nullptr, m_size, PROT_READ | PROT_WRITE, MAP_SHARED, m_fd, 0);
//以後操做和匿名內存中操做相同
if (m_ptr == MAP_FAILED) {
MMKVError("fail to mmap [%s], %s", m_mmapID.c_str(), strerror(errno));
} else {
memcpy(&m_actualSize, m_ptr, Fixed32Size);
MMKVInfo("loading [%s] with %zu size in total, file size is %zu", m_mmapID.c_str(),
m_actualSize, m_size);
bool loaded = false;
if (m_actualSize > 0) {
if (m_actualSize < m_size && m_actualSize + Fixed32Size <= m_size) {
if (checkFileCRCValid()) {
MMKVInfo("loading [%s] with crc %u sequence %u", m_mmapID.c_str(),
m_metaInfo.m_crcDigest, m_metaInfo.m_sequence);
MMBuffer inputBuffer(m_ptr + Fixed32Size, m_actualSize, MMBufferNoCopy);
if (m_crypter) {
decryptBuffer(*m_crypter, inputBuffer);
}
//初始化Photobuf存儲結構orderedMap
m_dic = MiniPBCoder::decodeMap(inputBuffer);
m_output = new CodedOutputData(m_ptr + Fixed32Size + m_actualSize,
m_size - Fixed32Size - m_actualSize);
loaded = true;
}
}
}
if (!loaded) {
SCOPEDLOCK(m_exclusiveProcessLock);
if (m_actualSize > 0) {
writeAcutalSize(0);
}
m_output = new CodedOutputData(m_ptr + Fixed32Size, m_size - Fixed32Size);
recaculateCRCDigest();
}
MMKVInfo("loaded [%s] with %zu values", m_mmapID.c_str(), m_dic.size());
}
}
if (!isFileValid()) {
MMKVWarning("[%s] file not valid", m_mmapID.c_str());
}
m_needLoadFromFile = false;
}
複製代碼
讀取匿名內存
void MMKV::loadFromAshmem() {
//複製MmapedFile的段地址
m_metaInfo.read(m_metaFile.getMemory());
//若是匿名內存存在且匿名內存文件爲真
if (m_fd < 0 || !m_ashmemFile) {
MMKVError("ashmem file invalid %s, fd:%d", m_path.c_str(), m_fd);
} else {
//讀取匿名內存文件大小
m_size = m_ashmemFile->getFileSize();
//讀取匿名內存起始地址
m_ptr = (char *) m_ashmemFile->getMemory();
if (m_ptr != MAP_FAILED) { //若是地址存在
//複製匿名內存出來
memcpy(&m_actualSize, m_ptr, Fixed32Size);
MMKVInfo("loading [%s] with %zu size in total, file size is %zu", m_mmapID.c_str(),
m_actualSize, m_size);
bool loaded = false;
if (m_actualSize > 0) {
if (m_actualSize < m_size && m_actualSize + Fixed32Size <= m_size) {
if (checkFileCRCValid()) {//檢查m_ptr和m_size都設置了
MMKVInfo("loading [%s] with crc %u sequence %u", m_mmapID.c_str(),
m_metaInfo.m_crcDigest, m_metaInfo.m_sequence);
//創造MMBuffer數據
MMBuffer inputBuffer(m_ptr + Fixed32Size, m_actualSize, MMBufferNoCopy);
if (m_crypter) { //若是加密，解密MMBuffer數據
decryptBuffer(*m_crypter, inputBuffer);
}
//
m_dic = MiniPBCoder::decodeMap(inputBuffer);
m_output = new CodedOutputData(m_ptr + Fixed32Size + m_actualSize,
m_size - Fixed32Size - m_actualSize);
//標誌已經讀取成功
loaded = true;
}
}
}
if (!loaded) {
//使用範圍鎖
SCOPEDLOCK(m_exclusiveProcessLock);
if (m_actualSize > 0) {
writeAcutalSize(0);
}
//輸出流
m_output = new CodedOutputData(m_ptr + Fixed32Size, m_size - Fixed32Size);
//從新計算crc校驗
recaculateCRCDigest();
}
MMKVInfo("loaded [%s] with %zu values", m_mmapID.c_str(), m_dic.size());
}
}
if (!isFileValid()) {
MMKVWarning("[%s] ashmem not valid", m_mmapID.c_str());
}
m_needLoadFromFile = false;
}
複製代碼
說明一下存儲文件的建立（分爲文件和共享內存）
MmapedFile::MmapedFile(const std::string &path, size_t size, bool fileType)
: m_name(path), m_fd(-1), m_segmentPtr(nullptr), m_segmentSize(0), m_fileType(fileType) {
if (m_fileType == MMAP_FILE) { //文件建立
//建立一個文件
m_fd = open(m_name.c_str(), O_RDWR | O_CREAT, S_IRWXU);
if (m_fd < 0) {
MMKVError("fail to open:%s, %s", m_name.c_str(), strerror(errno));
} else {
//文件屬性的訪問
struct stat st = {};
if (fstat(m_fd, &st) != -1) {
m_segmentSize = static_cast<size_t>(st.st_size);
}
if (m_segmentSize < DEFAULT_MMAP_SIZE) {
m_segmentSize = static_cast<size_t>(DEFAULT_MMAP_SIZE);
if (ftruncate(m_fd, m_segmentSize) != 0 || !zeroFillFile(m_fd, 0, m_segmentSize)) {
MMKVError("fail to truncate [%s] to size %zu, %s", m_name.c_str(),
m_segmentSize, strerror(errno));
close(m_fd);
m_fd = -1;
removeFile(m_name);
return;
}
}
m_segmentPtr =
(char *) mmap(nullptr, m_segmentSize, PROT_READ | PROT_WRITE, MAP_SHARED, m_fd, 0);
if (m_segmentPtr == MAP_FAILED) {
MMKVError("fail to mmap [%s], %s", m_name.c_str(), strerror(errno));
close(m_fd);
m_fd = -1;
m_segmentPtr = nullptr;
}
}
} else {
//共享內存建立 #define ASHMEM_NAME_DEF "/dev/ashmem"
m_fd = open(ASHMEM_NAME_DEF, O_RDWR);
if (m_fd < 0) { //建立失敗
MMKVError("fail to open ashmem:%s, %s", m_name.c_str(), strerror(errno));
} else {
if (ioctl(m_fd, ASHMEM_SET_NAME, m_name.c_str()) != 0) { //內存訪問io控制
MMKVError("fail to set ashmem name:%s, %s", m_name.c_str(), strerror(errno));
} else if (ioctl(m_fd, ASHMEM_SET_SIZE, size) != 0) {
MMKVError("fail to set ashmem:%s, size %d, %s", m_name.c_str(), size,
strerror(errno));
} else { //訪問成功
//獲取頁長度
m_segmentSize = static_cast<size_t>(size);
//獲取頁指針
m_segmentPtr = (char *) mmap(nullptr, m_segmentSize, PROT_READ | PROT_WRITE,
MAP_SHARED, m_fd, 0);
if (m_segmentPtr == MAP_FAILED) {
MMKVError("fail to mmap [%s], %s", m_name.c_str(), strerror(errno));
m_segmentPtr = nullptr;
} else {
return;
}
}
close(m_fd);
m_fd = -1;
}
}
}
複製代碼
本節是第1篇，第2~4篇的分析，已經在小專欄裏刊登，請瀏覽https://xiaozhuanlan.com/cangwang_process查看更詳細的分析.
相關文章
- 1. 高性能MMKV數據交互分析-MMKV初始化
- 2. 高性能的MMKV
- 3. Android MMKV
- 4. 淺析 - MMKV 1.1.1
- 5. 安卓性能優化之持久化配置數據-MMKV
- 6. mmkv 己見
- 7. Android數據持久化方案調研-MMKV SP REALM ROOM WCDB...
- 8. MMKV–基於 mmap 的 iOS 高性能通用 key-value 組件
- 9. 騰訊開源基於 mmap 的高性能 key-value 組件 MMKV
- 10. MMKV使用教程
- 更多相關文章...
- • 互聯網系統應用架構基礎分析 - 紅包項目實戰
- • 高併發系統的分析和設計 - 紅包項目實戰
- • 互聯網組織的未來：剖析GitHub員工的任性之源
- • Flink 數據傳輸及反壓詳解
相關標籤/搜索
每日一句
-
每一个你不满意的现在，都有一个你没有努力的曾经。
歡迎關注本站公眾號,獲取更多信息
