Neo4j構建一個簡單知識圖譜

Neo4j 是一個圖形數據庫，就像傳統的關係數據庫中的 Oracel 和 MySQL同樣，用來持久化數據。Neo4j 是最近幾年發展起來的新技術，屬於 NoSQL 數據庫中的一種。

本文主要從 Neo4j 爲何被用來作知識圖譜，Neo4j 的簡單安裝，在 Neo4j 瀏覽器中建立節點和關係，Neo4j 的 Python 接口操做以及用 Neo4j 構建一個簡單的農業知識圖譜五個方面來說。

Neo4j 爲何被用來作知識圖譜

知識圖譜是一種基於圖的數據結構，由節點和邊組成。其中節點即實體，由一個全局惟一的 ID 標示，關係（也稱屬性）用於鏈接兩個節點。通俗地講，知識圖譜就是把全部不一樣種類的信息鏈接在一塊兒而獲得一個關係網絡，提供了從「關係」的角度去分析問題的能力。

而 Neo4j 做爲一種通過特別優化的圖形數據庫，有如下優點：

• 數據存儲：不像傳統數據庫整條記錄來存儲數據，Neo4j 以圖的結構存儲，能夠存儲圖的節點、屬性和邊。屬性、節點都是分開存儲的，屬性與節點的關係構成邊，這將大大有助於提升數據庫的性能。

• 數據讀寫：在 Neo4j 中，存儲節點時使用了 Index-free Adjacency 技術，即每一個節點都有指向其鄰居節點的指針，可讓咱們在時間複雜度爲 O(1) 的狀況下找到鄰居節點。另外，按照官方的說法，在 Neo4j 中邊是最重要的，是 First-class Entities，因此單獨存儲，更有利於在圖遍歷時提升速度，也能夠很方便地以任何方向進行遍歷。

• 資源豐富：Neo4j 做爲較早的一批圖形數據庫之一，其文檔和各類技術博客較多。

• 同類對比：Flockdb 安裝過程當中依賴太多，安裝複雜；Orientdb，Arangodb 與 Neo4j 作對比，從易用性來講都差很少，可是從穩定性來講，neo4j 是最好的。

綜合上述以及因素，我認爲 Neo4j 是作知識圖譜比較簡單、靈活、易用的圖形數據庫。

Neo4j 的簡單安裝

Neo4j 是基於 Java 的圖形數據庫，運行 Neo4j 須要啓動 JVM 進程，所以必須安裝 Java SE 的 JDK。從 Oracle 官方網站下載 Java SE JDK，選擇版本 JDK8 以上版本便可。

下面簡單介紹下 Neo4j 在 Linux 和 Windows 的安裝過程。首先去官網下載對應版本。解壓以後，Neo4j 應用程序有以下主要的目錄結構：

• bin 目錄：用於存儲 Neo4j 的可執行程序；
• conf 目錄：用於控制 Neo4j 啓動的配置文件；
• data 目錄：用於存儲核心數據庫文件；
• plugins 目錄：用於存儲 Neo4j 的插件。

Linux 系統下的安裝

經過 tar 解壓命令解壓到一個目錄下：

tar -xzvf neo4j-community-3.3.1-unix.tar.gz

而後進入 Neo4j 解壓目錄：

cd /usr/local/neo4j/neo4j-community-3.1.0

經過啓動命令，能夠實現啓動、控制檯、中止服務：

bin/neo4j  start/console/stop（啓動/控制檯/中止）

經過 cypher-shell 命令，能夠進入命令行：

bin/cypher-shell

Windows 系統下的安裝

啓動 DOS 命令行窗口，切換到解壓目錄 bin 下，以管理員身份運行命令，分別爲啓動服務、中止服務、重啓服務和查詢服務的狀態：

bin\neo4j start bin\neo4j stop bin\neo4j restart bin\neo4j status

把 Neo4j 安裝爲服務（Windows Services），可經過如下命令：

bin\neo4j install-service bin\neo4j uninstall-service

Neo4j 的配置文檔存儲在 conf 目錄下，Neo4j 經過配置文件 neo4j.conf 控制服務器的工做。默認狀況下，不須要進行任意配置，就能夠啓動服務器。

下面咱們在 Windows 環境下啓動 Neo4j：

Neo4j 服務器具備一個集成的瀏覽器，在一個運行的服務器實例上訪問： http://localhost:7474/，打開瀏覽器，顯示啓動頁面：

默認的 Host 是 bolt://localhost:7687，默認的用戶是 neo4j，其默認的密碼是 neo4j，第一次成功登陸到 Neo4j 服務器以後，須要重置密碼。訪問 Graph Database 須要輸入身份驗證，Host 是 Bolt 協議標識的主機。登陸成功後界面：

到此爲止，咱們就完成了 Neo4j 的基本安裝過程，更詳細的參數配置，能夠參考官方文檔。

在 Neo4j 瀏覽器中建立節點和關係

下面，咱們簡單編寫 Cypher 命令，Cypher 命令能夠經過 Neo4j 教程學習，在瀏覽器中經過 Neo4j 建立兩個節點和兩個關係。

在 $ 命令行中，編寫 Cypher 腳本代碼，點擊 Play 按鈕完成建立，依次執行下面的語句：

CREATE (n:Person { name: 'Andres', title: 'Developer' }) return n;

做用是建立一個 Person，幷包含屬性名字和職稱。

下面這條語句也建立了一個 Person 對象，屬性中只是名字和職稱不同。

CREATE (n:Person { name: 'Vic', title: 'Developer' }) return n;

緊接着，經過下面兩行命令進行兩個 Person 的關係匹配：

match(n:Person{name:"Vic"}),(m:Person{name:"Andres"}) create (n)-[r:Friend]->(m) return r; match(n:Person{name:"Vic"}),(m:Person{name:"Andres"}) create (n)<-[r:Friend]-(m) return r;

最後，在建立完兩個節點和關係以後，查看數據庫中的圖形：

match(n) return n;

以下圖，返回兩個 Person 節點，以及其關係網，兩個 Person 之間組成 Friend 關係：

Neo4j 的 Python 操做

既然 Neo4j 做爲一個圖庫數據庫，那咱們在項目中使用的時候，必然不能經過上面那種方式完成任務，通常都要經過代碼來完成數據的持久化操做。其中，對於 Java 編程者來講，可經過 Spring Data Neo4j 達到這一目的。

而對於 Python 開發者來講，Py2neo 庫也能夠完成對 Neo4j 的操做，操做過程以下。

首先 安裝 Py2neo。Py2neo 的安裝過程很是簡單，在命令行經過下面命令便可安裝成功。

pip install py2neo

安裝好以後，咱們來看一下簡單的圖關係構建，看下面代碼：

from py2neo.data import Node, Relationship a = Node("Person", name="Alice") b = Node("Person", name="Bob") ab = Relationship(a, "KNOWS", b)

第一行代碼，首先引入 Node 和 Relationship 對象，緊接着，建立 a 和 b 節點對象，最後一行匹配 a 和 b 之間的工做僱傭關係。接着來看看 ab 對象的內容是什麼：

print(ab)

經過 print 打印出 ab 的內容：

(Alice)-[:KNOWS {}]->(Bob) 

經過這樣，就完成了 Alice 和 Bob 之間的工做關係，若是有多組關係將構建成 Person 之間的一個關係網。

瞭解更多 Py2neo 的使用方法，建議查看官方文檔。

用 Neo4j 構建一個簡單的農業知識圖譜

咱們來看一個基於開源語料的簡單農業知識圖譜，因爲過程比較繁雜，數據和知識圖譜數據預處理過程這裏再也不贅述，下面，咱們重點看基於 Neo4j 來建立知識圖譜的過程。

整個過程主要包含如下步驟：

• 環境準備
• 語料準備
• 語料加載
• 知識圖譜查詢展現

Neo4j 環境準備。

根據上面對 Neo4j 環境的介紹，這裏默認你已經搭建好 Neo4j 的環境，並能正常訪問，若是沒有環境，請自行搭建好 Neo4j 的可用環境。

數據語料介紹。

本次提供的語料是已經處理好的數據，包含6個 csv 文件，文件內容和描述以下。

• attributes.csv：文件大小 2M，內容是經過互動百科頁面獲得的部分實體的屬性，包含字段：Entity、AttributeName、Attribute，分別表示實體、屬性名稱、屬性值。文件前5行結構以下：

Entity,AttributeName,Attribute
密度板,別名,纖維板
葡萄蔓枯病,主要爲害部位,枝蔓
坎德拉,性別,男
坎德拉,國籍,法國
坎德拉,場上位置,後衛

• hudong_pedia.csv：文件大小 94.6M，內容是已經爬好的農業實體的百科頁面的結構化數據，包含字段：title、url、image、openTypeList、detail、baseInfoKeyList、baseInfoValueList，分別表示名稱、百科 URL 地址、圖片、分類類型、詳情、關鍵字、依據來源。文件前2行結構以下：

"title","url","image","openTypeList","detail","baseInfoKeyList","baseInfoValueList" "菊糖","http://www.baike.com/wiki/菊糖","http://a0.att.hudong.com/72/85/20200000013920144736851207227_s.jpg","健康科學##分子生物學##化學品##有機物##科學##天然科學##藥品##藥學名詞##藥物中文名稱列表","[藥理做用] 診斷試劑 人體內不含菊糖，靜注後，不被機體分解、結合、利用和破壞，經腎小球濾過，經過測定血中和尿中的菊糖含量，能夠準確計算腎小球的濾過率。菊糖普遍存在於植物組織中,約有3.6萬種植物中含有菊糖,尤爲是菊芋、菊苣塊根中含有豐富的菊糖[6,8]。菊芋(Jerusalem artichoke)又名洋姜,多年生草本植物,在我國栽種普遍,其適應性廣、耐貧瘠、產量高、易種植,通常畝產菊芋塊莖爲2 000～4 000 kg,菊芋塊莖除水分外,還含有15%～20%的菊糖,是加工生產菊糖及其製品的良好原料。","中文名：","菊糖" "密度板","http://www.baike.com/wiki/密度板","http://a0.att.hudong.com/64/31/20200000013920144728317993941_s.jpg","居家##巧克力包裝##應用科學##建築材料##珠寶盒##禮品盒##科學##糖果盒##紅酒盒##裝修##裝飾材料##隔斷##首飾盒","密度板（英文：Medium Density Fiberboard (MDF)）也稱纖維板，是以木質纖維或其餘植物纖維爲原料，施加脲醛樹脂或其餘適用的膠粘劑製成的人造板材。按其密度的不一樣，分爲高密度板、中密度板、低密度板。密度板因爲質軟耐衝擊，也容易再加工，在國外是製做傢俬的一種良好材料，但因爲國家關於高密度板的標準比國際標準低數倍，因此，密度板在中國的使用質量還有待提升。","中文名：##全稱：##別名：##主要材料：##分類：##優勢：","密度板##中密度板纖維板##纖維板##以木質纖維或其餘植物纖維##高密度板、中密度板、低密度板##表面光滑平整、材質細密性能穩定" 

• hudong_pedia2.csv：文件大小 41M，內容結構和 hudong_pedia.csv文件保持一致，只是增長數據量，做爲 hudong_pedia.csv 數據的補充。

• new_node.csv：文件大小 2.28M，內容是節點名稱和標籤，包含字段：title、lable，分別表示節點名稱、標籤，文件前5行結構以下：

title,lable
藥物治療,newNode
膳食纖維,newNode
Boven Merwede,newNode
亞美尼亞蘇維埃百科全書,newNode

• wikidata_relation.csv：文件大小 1.83M，內容是實體和關係，包含字段 HudongItem一、relation、HudongItem2，分別表示實體一、關係、實體2，文件前5行結構以下：

HudongItem1,relation,HudongItem2
菊糖,instance of,化合物 菊糖,instance of,多糖 瓦爾,instance of,河流 菊糖,subclass of,食物 瓦爾,origin of the watercourse,萊茵河 

• wikidata_relation2.csv：大小 7.18M，內容結構和wikidata_relation.csv 一致，做爲 wikidata_relation.csv 數據的補充。

語料加載。

語料加載，利用 Neo4j 的 LOAD CSV WITH HEADERS FROM... 功能進行加載，具體操做過程以下。

首先，依次執行如下命令：

// 將hudong_pedia.csv 導入 LOAD CSV WITH HEADERS FROM "file:///hudong_pedia.csv" AS line CREATE (p:HudongItem{title:line.title,image:line.image,detail:line.detail,url:line.url,openTypeList:line.openTypeList,baseInfoKeyList:line.baseInfoKeyList,baseInfoValueList:line.baseInfoValueList})

執行成功以後，控制檯顯示成功：

上面這張圖，表示數據加載成功，並顯示加載的數據條數和耗費的時間。

// 新增了hudong_pedia2.csv LOAD CSV WITH HEADERS FROM "file:///hudong_pedia2.csv" AS line CREATE (p:HudongItem{title:line.title,image:line.image,detail:line.detail,url:line.url,openTypeList:line.openTypeList,baseInfoKeyList:line.baseInfoKeyList,baseInfoValueList:line.baseInfoValueList}) // 建立索引 CREATE CONSTRAINT ON (c:HudongItem) ASSERT c.title IS UNIQUE

以上命令的意思是，將 hudong_pedia.csv 和 hudong_pedia2.csv 導入 Neo4j 做爲結點，而後對 titile 屬性添加 UNIQUE（惟一約束/索引）。

注意： 若是導入的時候出現 Neo4j JVM 內存溢出錯誤，能夠在導入前，先把 Neo4j 下的 conf/neo4j.conf 中的 dbms.memory.heap.initial_size 和dbms.memory.heap.max_size 調大點。導入完成後再把值改回去便可。

下面繼續執行數據導入命令：

// 導入新的節點 LOAD CSV WITH HEADERS FROM "file:///new_node.csv" AS line CREATE (:NewNode { title: line.title }) //添加索引 CREATE CONSTRAINT ON (c:NewNode) ASSERT c.title IS UNIQUE //導入hudongItem和新加入節點之間的關係 LOAD CSV WITH HEADERS FROM "file:///wikidata_relation2.csv" AS line MATCH (entity1:HudongItem{title:line.HudongItem}) , (entity2:NewNode{title:line.NewNode}) CREATE (entity1)-[:RELATION { type: line.relation }]->(entity2) LOAD CSV WITH HEADERS FROM "file:///wikidata_relation.csv" AS line MATCH (entity1:HudongItem{title:line.HudongItem1}) , (entity2:HudongItem{title:line.HudongItem2}) CREATE (entity1)-[:RELATION { type: line.relation }]->(entity2)

執行完這些命令後，咱們導入 new_node.csv 新節點，並對 titile 屬性添加 UNIQUE（惟一約束/索引），導入 wikidata_relation.csv 和wikidata_relation2.csv，並給節點之間建立關係。

緊接着，繼續導入實體屬性，並建立實體之間的關係：

LOAD CSV WITH HEADERS FROM "file:///attributes.csv" AS line MATCH (entity1:HudongItem{title:line.Entity}), (entity2:HudongItem{title:line.Attribute}) CREATE (entity1)-[:RELATION { type: line.AttributeName }]->(entity2); LOAD CSV WITH HEADERS FROM "file:///attributes.csv" AS line MATCH (entity1:HudongItem{title:line.Entity}), (entity2:NewNode{title:line.Attribute}) CREATE (entity1)-[:RELATION { type: line.AttributeName }]->(entity2); LOAD CSV WITH HEADERS FROM "file:///attributes.csv" AS line MATCH (entity1:NewNode{title:line.Entity}), (entity2:NewNode{title:line.Attribute}) CREATE (entity1)-[:RELATION { type: line.AttributeName }]->(entity2); LOAD CSV WITH HEADERS FROM "file:///attributes.csv" AS line MATCH (entity1:NewNode{title:line.Entity}), (entity2:HudongItem{title:line.Attribute}) CREATE (entity1)-[:RELATION { type: line.AttributeName }]->(entity2)

這裏注意，建索引的時候帶了 label，所以只有使用 label 時纔會使用索引，這裏咱們的實體有兩個 label，因此一共作 2*2=4 次。固然也能夠創建全局索引，即對於不一樣的 label 使用同一個索引。

以上過程，咱們就完成了語料加載，並建立了實體之間的關係和屬性匹配，下面咱們來看看 Neo4j 圖譜關係展現。

知識圖譜查詢展現

最後經過 cypher 語句查詢來看看農業圖譜展現。

首先，展現 HudongItem 實體，執行以下命令：

MATCH (n:HudongItem) RETURN n LIMIT 25

對 HudongItem 實體進行查詢，返回結果的25條數據，結果以下圖：

接着，展現 NewNode 實體，執行以下命令：

MATCH (n:NewNode) RETURN n LIMIT 25

對 NewNode 實體進行查詢，返回結果的25條數據，結果以下圖：

以後，展現 RELATION 直接的關係，執行以下命令：

MATCH p=()-[r:RELATION]->() RETURN p LIMIT 25

展現實體屬性關係，結果以下圖：

總結

本節內容到此結束，回顧下整篇文章，主要講了如下內容：

1. 解釋了 Neo4j 被用來作知識圖譜的緣由；
2. Neo4j 的簡單安裝以及在 Neo4j 瀏覽器中建立節點和關係；
3. Neo4j 的 Python 接口操做及使用；
4. 從五個方面講解了如何使用 Neo4j 構建一個簡單的農業知識圖譜。

最後，強調一句，知識圖譜將來會經過天然語言處理技術和搜索技術結合應用會愈來愈廣，工業界所出的地位也會愈來愈重要。

參考文獻及推薦閱讀

1. Neo4j 官網
2. The Neo4j Developer Manual
3. Neo4j 教程
4. Py2neo——Neo4j & Python 的配合使用