知識圖譜在大數據中的應用

隨着移動互聯網的發展，萬物互聯成爲了可能，這種互聯所產生的數據也在爆發式地增加，而這些數據剛好能夠做爲分析關係的有效原料。若是說以往的智能分析專一在每個個體上，在移動互聯網時代則除了個體，這種個體之間的關係也必然成爲咱們須要深刻分析的很重要一部分。在一項任務中，只要有關係分析的需求，知識圖譜就「有可能」派的上用場。

說到關係的重要性，咱們先來看一個有意思的理論，六度分隔理論（英語：Six Degrees of Separation），相信你們也都據說過，這個理論認爲世界上任何互不相識的兩人，只須要不多的中間人就可以創建起聯繫。

哈佛大學心理學教授斯坦利·米爾格拉姆於1967年根據這個概念作過一次連鎖信實驗，嘗試證實平均只須要6步就能夠聯繫任何兩個互不相識的美國人。這種現象，並非說任何人與人之間的聯繫都必需要通過6步纔會達到，而是表達了這樣一個重要的概念：在任何兩位素不相識的人之間，經過必定的聯繫方式，總可以產生必然聯繫或關係。知識圖譜爲咱們打開了一個全新的認識事物的思惟方式。

知識圖譜是什麼

知識圖譜用一句話說就是用圖的形式去存儲和表示知識。知識圖譜本質上是語義網絡，是一種基於圖的數據結構，由節點(Point)和邊(Edge)組成。在知識圖譜裏，每一個節點表示現實世界中存在的「實體」，每條邊爲實體與實體之間的「關係」。

知識圖譜是關係的最有效的表示方式，它用圖的形式描繪了咱們的現實世界。下面我用知識圖譜表示了日本著名動畫導演宮崎駿和他的做品以及他的做品和演員之間的關係。從圖中能夠看出，宮崎駿導演了包括《龍貓》在內的多部電影，而電影《龍貓》的演員有高木均等。這樣千千萬萬個導演，演員和電影聯繫在一塊兒，就造成了一個電影的知識圖譜。

該圖是用Neo4j展現的

知識圖譜的由來

知識圖譜是由Google公司在2012年提出來的一個新的概念。知識圖譜，即一種特殊的語義網絡，它利用實體、關係、屬性這些基本單位，以符號的形式描述了物理世界中不一樣的概念和概念之間的相互關係。

知識圖譜旨在經過創建數據之間的關聯連接，將碎片化的數據有機的組織起來， 讓數據更加容易被人和機器理解和處理，併爲搜索、挖掘、分析等提供便利，爲人工智能的實現提供知識庫基礎。

Google爲了提高搜索引擎返回的答案質量，推出了知識圖譜概念。有知識圖譜的輔助，搜索引擎可以根據用戶查詢背後的語義信息，返回更準確、更結構化的信息。Google知識圖譜的宣傳語「things not strings」道出了知識圖譜的精髓：不要無心義的字符串，須要文本背後的對象或事物。

以羅納爾多爲例，當用戶以「羅納爾多」做爲關鍵詞進行搜索，沒有知識圖譜的狀況下，咱們只能獲得包含這個關鍵詞的網頁，而後不得不點擊進入相關網頁查找須要的信息。有了知識圖譜，搜索引擎在返回相關網頁的同時，還會返回一個包含查詢對象基本信息的」知識卡片「，若是咱們須要的信息就在卡片中，就無需進一步操做了。也就是說，知識圖譜可以提高查詢效率，讓咱們得到更精準、更結構化的信息。

固然，這只是知識圖譜在搜索引擎上的一部分應用場景。舉這個例子也是爲了代表，知識圖譜這樣一種概念或者技術，它的誕生是符合計算機科學、互聯網發展潮流的。

知識圖譜的存儲

知識圖譜主要有兩種存儲方式：一種是基於RDF的存儲；另外一種是基於圖數據庫的存儲。它們之間的區別以下圖所示。RDF一個重要的設計原則是數據的易發佈以及共享，圖數據庫則把重點放在了高效的圖查詢和搜索上。其次，RDF以三元組的方式來存儲數據並且不包含屬性信息，但圖數據庫通常以屬性圖爲基本的表示形式，因此實體和關係能夠包含屬性，這就意味着更容易表達現實的業務場景。

根據最新的統計（2018年上半年），圖數據庫仍然是增加最快的存儲系統。相反，關係型數據庫的增加基本保持在一個穩定的水平。同時，咱們也列出了經常使用的圖數據庫系統以及他們最新使用狀況的排名。 其中Neo4j系統目前還是使用率最高的圖數據庫，它擁有活躍的社區，並且系統自己的查詢效率高，但惟一的不足就是不支持準分佈式。相反，OrientDB和JanusGraph（原Titan）支持分佈式，但這些系統相對較新，社區不如Neo4j活躍，這也就意味着使用過程中不可避免地會遇到一些刺手的問題。若是選擇使用RDF的存儲系統，Jena或許一個比較不錯的選擇。

知識圖譜的應用

從一開始的Google搜索，到如今的聊天機器人、大數據風控、證券投資、智能醫療、自適應教育、推薦系統，無一不跟知識圖譜相關，它在技術領域的熱度也在逐年上升。下面咱們簡單介紹下幾個典型的應用。

反欺詐

知識圖譜在反欺詐做用很是大，反欺詐最終目的是識別壞人，把壞人跟其餘的未知人羣的關係找出來，從而認定其餘未知人羣是不是壞人，這個跟信用模型是很不同的，若是原來只能看一層的關係，如今能夠看兩層三層四層，效果就徹底不同了，不少團伙、中介其實是要看很大規模的一張網，看不少層關係，關係之間還有強關係、弱關係。

下圖是咱們將知識圖譜應用於反欺詐中的示例圖：目前將用戶信息，設備信息及社交關係構建了一個異構網絡，並將該異構網絡圖應用在用戶關聯分析及反欺詐檢測場景。根據數據圖咱們能夠對用戶作如下調查分析，來肯定特定的用戶是否是欺詐用戶或者是否是與欺詐用戶有關聯：

• 經過特定規則篩選可疑用戶
• 查看與可疑用戶有特定關聯的用戶
• 查看與可疑用戶有特定關聯的全部用戶組成的子網的網絡特徵及用戶特徵
• 分析特定用戶能夠經過什麼樣的關聯關係關聯在一塊兒
• 可分析多層關聯關係的數據

經過該方式，咱們大大減小了調查過程當中的工做量，總體提高效率。

智能搜索

智能搜索的功能相似於知識圖譜在Google, Baidu上的應用。也就是說，對於每個搜索的關鍵詞，咱們能夠經過知識圖譜來返回更豐富，更全面的信息。

推薦引擎

經過知識圖譜，查詢某節點的消費狀況可爲其推薦關聯度高的可能消費的商品。

精準營銷

一個聰明的企業能夠比它的競爭對手以更爲有效的方式去挖掘其潛在的客戶。在互聯網時代，營銷手段多種多樣，但無論有多少種方式，都離不開一個核心——分析用戶和理解用戶。知識圖譜能夠結合多種數據源去分析實體之間的關係，從而對用戶的行爲有更好的理解。好比一個公司的市場經理用知識圖譜來分析用戶之間的關係，去發現一個組織的共同喜愛，從而能夠有針對性的對某一類人羣制定營銷策略。

總結

本文主要介紹了下知識圖譜相關概念和在大數據分析中的一些應用。知識圖譜爲互聯網上大數據表達、組織、管理以及利用提供了一種更爲有效的方式，使得網絡的智能化水平更高，更加接近於人類的認知思惟，塑造出了反欺詐、智能營銷、商品推薦等應用場景，給咱們提供了更多思考和分析問題的方法。