基於磁盤存儲

基於內存存儲性能好，可是成本較高。內存存儲目前用的多的是redis，以及hash數據結構。最好根據業務需求，

以及業務特性將一部分存儲存儲到磁盤。基於磁盤存儲支持高併發寫以及較高併發讀的數據結構是LSM。

 

基於磁盤存儲相關文章，對於調研以及線上使用能夠做爲參考：

kv存儲Aerospike https://juejin.im/post/5b4eacb06fb9a04fde5ac05a

有贊kv存儲 https://tech.youzan.com/shi-yong-kai-yuan-ji-zhu-gou-jian-you-zan-fen-bu-shi-kvcun-chu-fu-wu/

                https://juejin.im/post/5b7a5d4f6fb9a019fe6843a3

基於Rocksdb分佈式存儲設計 http://www.doc88.com/p-3592525709078.html

TiDB集羣安裝 https://blog.yeeef.com/post/deploy-tidb-cluster/

TiDB部署https://segmentfault.com/a/1190000009716533

Rocksdb存儲原理 https://www.jianshu.com/p/73fa1d4e4273

百度Tera https://www.infoq.cn/article/2017%2F05%2Fdatabase-baidu-Tera

             https://www.cnblogs.com/bonelee/p/6211789.html

             https://developer.baidu.com/announcement/566

　　　　 https://my.oschina.net/u/2982571/blog/775452　　

             http://www.yeolar.com/media/note/2016/12/04/bj2016-archsummit/%E5%A4%A7%E6%95%B0%E6%8D%AE%E5%A4%84%E7%90%86%E5%8F%8A%E7%B3%BB%E7%BB%9F%E6%9E%B6%E6%9E%84/%E7%99%BE%E5%BA%A6%E7%AC%AC%E4%B8%89%E4%BB%A3%20Spider%20%E8%83%8C%E5%90%8E%E7%9A%84%E4%B8%87%E4%BA%BF%E9%87%8F%E7%BA%A7%E5%AE%9E%E6%97%B6%E6%95%B0%E6%8D%AE%E5%A4%84%E7%90%86%E7%B3%BB%E7%BB%9F.pdf

分佈式存儲原理 http://wuchong.me/blog/2014/08/07/distributed-storage-system-knowledge/

                      https://yq.aliyun.com/articles/86633

分佈式系統事務處理 https://coolshell.cn/articles/10910.html

rocksdb使用 https://tech.meili-inc.com/196-196

                  https://www.jianshu.com/p/f233528c8303

存儲調研     http://www.importnew.com/29110.html

分佈式事務  https://coolshell.cn/articles/10910.html 

微信後臺存儲架構 http://www.docin.com/p-1167499844.html

從無到有：微信後臺系統的演進之路 涉及存儲

                      https://www.infoq.cn/article/the-road-of-the-growth-weixin-background

微信存儲 http://www.dataguru.cn/article-11666-1.html

今日頭條涉及存儲 https://www.toutiao.com/i6304145761982480897/

                         https://doc.huodongjia.com/detail-1950.html

　　　　　　　　https://v.qq.com/x/page/e05142o902n.html

                        https://myslide.cn/slides/632

 　　　　　　　  https://blog.csdn.net/zkq_1986/article/details/79153376

 

存儲讀取方式 https://www.cnblogs.com/bonelee/p/6900243.html

 

pika存儲團隊成員博客 http://kernelmaker.github.io/

pingcap團隊博客  https://pingcap.com/blog-cn/

pingcap好文檔 https://www.liangzl.com/get-article-detail-3879.html

          

Lucene索引存儲 https://www.cnblogs.com/forfuture1978/archive/2009/12/14/1623597.html

protocol buf壓縮或者說序列化 https://blog.csdn.net/xiao__gui/article/details/36643949

etcd原理 https://draveness.me/etcd-introduction 

raft協議 https://www.jianshu.com/p/096ae57d1fe0

 

gfs論文 http://blog.bizcloudsoft.com/wp-content/uploads/Google-File-System%E4%B8%AD%E6%96%87%E7%89%88_1.0.pdf

mapreduce論文 http://blog.bizcloudsoft.com/wp-content/uploads/Google-MapReduce%E4%B8%AD%E6%96%87%E7%89%88_1.0.pdf

bigtable 論文 http://blog.bizcloudsoft.com/wp-content/uploads/Google-Bigtable%E4%B8%AD%E6%96%87%E7%89%88_1.0.pdf 

spanner論文 http://dblab.xmu.edu.cn/post/google-spanner/ 

nosql數據庫 http://dblab.xmu.edu.cn/topic/research/documentation/cloud-database/

google spanner論文 https://static.googleusercontent.com/media/research.google.com/zh-CN//archive/spanner-osdi2012.pdf 

megastore解讀 https://www.csdn.net/article/2011-02-16/291968

一致性與共識不是一碼事 http://blog.kongfy.com/2016/08/%E8%A2%AB%E8%AF%AF%E7%94%A8%E7%9A%84%E4%B8%80%E8%87%B4%E6%80%A7/ 

何登成 http://hedengcheng.com/?p=892

lmdb http://wiki.dreamrunner.org/public_html/C-C++/Library-Notes/LMDB.html

rocksdb lmdb等 https://www.kancloud.cn/digest/jd-detail-page/61541

樹形存儲 https://blog.csdn.net/hbhhww/article/details/8206846 

蘑菇街內有推薦存儲  https://www.jianshu.com/p/49ddf2f5c165   

mmap 蘑菇街、今日頭條、鏈家推薦系統 須要深刻研究一下

mmap優缺點 https://www.cnblogs.com/huxiao-tee/p/4660352.html#4008787

存儲核心引擎連接 https://yq.aliyun.com/articles/85619

 

本實驗使用dd順序寫操做簡單測試，嚴格測試須要用FIO等工具

 

開源基於磁盤存儲 aerospike ssdb pika ZanKV tikv tidb Bicast存儲

好書連接 https://github.com/lancetw/ebook-1/tree/master/01_programming 基礎技術相關

存儲優秀博客 http://blog.sina.com.cn/s/articlelist_1070095910_0_2.html

其餘  各大互聯網後臺架構

微信公衆號： 探索互聯網