爲何選擇圖形數據庫,爲何選擇Neo4j?

最近在抓取一些社交網站的數據,抓下來的數據用MySql存儲。問我爲何用MySql,那天然是入門簡單,而且我當時只熟悉MySql。但是,隨着數據量愈來愈大,有一個問題始終困擾着我,那就是社交關係的存儲node

就以新浪微博舉例,一個大V少則十幾萬,多則幾千萬的粉絲,這些關注關係要怎麼存呢?在MySql中,一條關注關係(大V id,大V的一個粉絲 id)存爲一條數據,那麼當用戶數量上來的時候,關注關係輕鬆破億,破十億,甚至上百億,而且爲了保證每條數據的惟一性,還須要設置聯合索引,MySql就有些力不從心了。那麼有人要說了:分表呀。嗯,沒錯,分表的確能夠在插入端和讀取端提高一些速度。好比咱們能夠根據id哈希到100張表中。查詢一個用戶有哪些粉絲是快了,可是查詢一個用戶關注了哪些人時仍然須要遍歷全表。好,這時候咱們還能夠以(id,其關注的一個用戶的id)再構造100張表,因而兩種查詢都快了。然而,後面那100張表是冗餘數據,看着就不爽...而且生成一張子圖也不方便(須要屢次寫SQL查表)。算法

因而,在搜索更好的方案時無心間發現了圖形數據庫,查閱一番資料後感受確實是個不錯的選擇,畢竟業界的一些大佬,如twitter,Adobe等也在用。數據庫

那麼,什麼是圖形數據庫呢?在這裏我貼上較爲官方的定義:a database that uses graph structures for semantic queries with nodes, edges and properties to represent and store data – independent of the way the data is stored internally. It’s really the model and the implemented algorithms that matter.注意,這裏只是說數據模型是圖結構的,沒有說數據的存儲也必定要是圖結構的。其數據模型以下圖graphdb-1網絡


進入今天的主題,我將以Neo4j爲例,說明爲何選擇圖形數據庫性能

首先,先簡要介紹一下Neo4j。Neo4j是由Java和Scala寫成的一個NoSql數據庫,專門用於網絡圖的存儲。更詳細的內容可見官網。做爲一個圖形數據庫,Neo4j有如下優勢:優化

  • 更快的數據庫操做。固然,有一個前提條件,那就是數據量較大,在MySql中存儲的話須要許多表,而且表之間聯繫較多(即有很多的操做須要join表)。
  • 數據更直觀,相應的SQL語句也更好寫(Neo4j使用Cypher語言,與傳統SQL有很大不一樣)。
  • 更靈活。無論有什麼新的數據須要存儲,都是一概的節點和邊,只須要考慮節點屬性和邊屬性。而MySql中即意味着新的表,還要考慮和其餘表的關係。
  • 數據庫操做的速度並不會隨着數據庫的增大有明顯的下降。這得益於Neo4j特殊的數據存儲結構和專門優化的圖算法。

接着,試着從更深一些的層次看圖形數據庫。我將從Neo4j的數據存儲和數據讀寫兩方面來講明爲何選它。網站

  1. 數據存儲
    Neo4j對於圖的存儲天然是通過特別優化的。不像傳統數據庫的一條記錄一條數據的存儲方式,Neo4j的存儲方式是:節點的類別,屬性,邊的類別,屬性等都是分開存儲的,這將大大有助於提升圖形數據庫的性能。以下圖:neo4j-1spa

  2. 數據讀寫
    在Neo4j中,存儲節點時使用了"index-free adjacency",即每一個節點都有指向其鄰居節點的指針,可讓咱們在\(O(1)\)的時間內找到鄰居節點。另外,按照官方的說法,在Neo4j中邊是最重要的,是"first-class entities",因此單獨存儲,這有利於在圖遍歷的時候提升速度,也能夠很方便地以任何方向進行遍歷。neo4j-2指針

更多的資料能夠看參考資料第一條。blog


關於爲何選圖形數據庫就說到這。現在可供選擇的圖形數據庫也很多,爲何就選擇了Neo4j呢?我簡要歸結爲如下幾點:

  • 做爲較早的一批圖形數據庫之一,文檔和各類技術博客較多。
  • 最開始曾嘗試過flockdb(聽說操做簡單+輕量級),可是敗於安裝過程...,依賴太多。
  • 網上常常有人將orientdb,arangodb與neo4j作對比,我固然也考慮過orientdb和arangodb。從易用性來講都差很少。速度上的話看過一些評測,arangodb應該是相對最快的,由於其使用了混合索引。可是從穩定性來講,neo4j是最好的。

時間有限,我並無通讀Neo4j的官方文檔。但做爲一個數據庫使用者,能大概地瞭解爲何要選這個數據庫就已經足夠了。

最後作個總結吧。圖形數據庫是這幾年興起的,總體還不是很完善,並且適用面也是比較窄的。只有在明確本身的需求以後,才能肯定是否選擇圖形數據庫。

轉載請註明出處:http://www.cnblogs.com/rubinorth/


參考資料

  1. Graph Databases for Beginners: Native vs. Non-Native Graph Technology
  2. neo4j是怎麼pk掉orientdb和titan的
  3. arangodb官方文檔,講爲何arangodb比neo4j快
相關文章
相關標籤/搜索