NLPIR-KGB知識圖譜大數據語義挖掘新引擎

　　近些年，因爲以社交網站、基於位置的服務LBS 等爲表明的新型信息產生方式的涌現，以及雲計算、移動和物聯網技術的迅猛發展，無處不在的移動、無線傳感器等設備無時不刻都在產生數據，數以億計用戶的互聯網服務時時刻刻都在產生着數據交互，大數據時代已經到來。在當下，大數據煊赫一時，無論是企業仍是我的都在談論或者從事大數據相關的話題與業務，咱們創造大數據同時也被大數據時代包圍。在大量的數據中找到有意義的模式和規則。在大量數據面前，數據的得到再也不是一個障礙，而是一個優點。對於數據量早已逾越TB、增加率驚人、實時性高的大數據，如何分析、管理、利用大數據等工做仍將面臨若干的挑戰。

　　大數據(Big data)一般用來形容大量非結構化和半結構化數據，這些數據在下載到關係型數據庫用於分析時會花費過多時間和金錢。大數據分析常和雲計算聯繫到一塊兒，由於實時的大型數據集分析須要像MapReduce同樣的框架來向數10、數百或甚至數千的電腦分配工做。簡言之，從各類各樣類型的數據中，快速得到有價值信息的能力，就是大數據技術。

　　大數據技術，從本質上講是從類型各異、內容龐大的數據中快速得到有價值信息的技術。目前，隨着大數據領域被普遍關注，大量新的技術已經開始涌現出來，而這些技術將成爲大數據採集、存儲、分析、表現的重要工具。

　　大數據技術的戰略意義不在於掌握龐大的數據信息，而在於對這些含有意義的數據進行專業化處理。換言之，若是把大數據比做一種產業，那麼這種產業實現盈利的關鍵，在於提升對數據的「加工能力」，經過「加工」實現數據的「增值」。

　　大數據處理的關鍵技術主要包括：數據採集、數據預處理(數據清理、數據集成、數據變換等)、大數據存儲、數據分析和挖掘、數據的呈現與應用(數據可視化、數據安全與隱私等)。

　　北京理工大學大數據搜索與挖掘實驗室張華平主任研發的NLPIR大數據語義智能分析技術是對語法、詞法和語義的綜合應用。NLPIR大數據語義智能分析平臺是根據中文數據挖掘的綜合需求,融合了網絡精準採集、天然語言理解、文本挖掘和語義搜索的研究成果,並針對互聯網內容處理的全技術鏈條的共享開發平臺。

　　其中KGB(Knowledge Graph Builder)知識圖譜引擎是咱們自主研發的知識圖譜構建與推理引擎，基於漢語詞法分析的基礎上，採用KGB語法實現了實時高效的知識生成，能夠從非結構化文本中抽取各種知識，並實現了從表格中抽取指定的內容等。KGB同時能夠定義不一樣的動做，如抽取動做，並能自定義各種後處理程序。利用KGB知識圖譜引擎能夠抽取到產品的詳細報價信息，方便進行下一步的數據挖掘與圖譜構建。

　　隨着雲計算、移動互聯網以及物聯網等技術的發展和完善，相信大數據在各個領域的應用會愈來愈普遍和深刻，相關的研究也會愈來愈全面和深刻，在信息管理領域，綜合應用數據挖掘技術和人工智能技術，獲取用戶知識、文獻知識等各種知識，將是實現知識檢索和知識管理髮展的必經之路。