NLPIR數據挖掘讓望「數」興嘆變成驅動引擎

　　數據是知識的源泉。可是，擁有大量的數據與擁有許多有用的知識徹底是兩回事。過去幾年中，從數據庫中發現知識這一領域發展的很快。廣闊的市場和研究利益促使這一領域的飛速發展。計算機技術和數據收集技術的進步令人們能夠從更加普遍的範圍和幾年前不可想象的速度收集和存儲信息。收集數據是爲了獲得信息，然而大量的數據自己並不意味信息。儘管現代的數據庫技術使咱們很容易存儲大量的數據流，但如今尚未一種成熟的技術幫助咱們分析、理解並使數據以可理解的信息表示出來。在過去，咱們經常使用的知識獲取方法是由知識工程師把專家經驗知識通過分析、篩選、比較、綜合、再提取出知識和規則。目前，傳統的知識獲取技術面對巨型數據倉庫無能爲力，數據挖掘技術就應運而生。
　　數據的迅速增長與數據分析方法的滯後之間的矛盾愈來愈突出，人們但願在對已有的大量數據分析的基礎上進行科學研究、商業決策或者企業管理，可是目前所擁有的數據分析工具很難對數據進行深層次的處理，使得人們只能望「數」興嘆。數據挖掘正是爲了解決傳統分析方法的不足，並針對大規模數據的分析處理而出現的。數據挖掘經過在大量數據的基礎上對各類學習算法的訓練，獲得數據對象間的關係模式，這些模式反映了數據的內在特性，是對數據包含信息的更高層次的抽象。目前，在須要處理大數據量的科研領域中，數據挖掘受到愈來愈多的關注，同時，在實際問題中，大量成功運用數據挖掘的實例說明了數據挖掘對科學研究具備很大的促進做用。數據挖掘能夠幫助人們對大規模數據進行高效的分析處理，以節約時間，將更多的精力投入到更高層的研究中，從而提升科研工做的效率。
　　數據挖掘(Data Mining)，要從存放在數據庫，數據倉庫或其餘信息庫中的大量的數據中獲取有效的、新穎的、潛在有用的、最終可理解的模式的非平凡過程。數據挖掘，在人工智能領域，習慣上又稱爲數據庫中知識發現(Knowledge Discovery in Database, KDD)， 也有人把數據挖掘視爲數據庫中知識發現過程的一個基本步驟。知識發現過程如下三個階段組成：(1) 數據準備，(2)數據挖掘，(3) 結果表達和解釋。數據挖掘能夠與用戶或知識庫交互。
　　北京理工大學大數據搜索與挖掘實驗室張華平主任研發的NLPIR大數據語義智能分析技術是知足大數據挖掘對語法、詞法和語義的綜合應用。NLPIR大數據語義智能分析平臺是根據中文數據挖掘的綜合需求,融合了網絡精準採集、天然語言理解、文本挖掘和語義搜索的研究成果,並針對互聯網內容處理的全技術鏈條的共享開發平臺。
　　NLPIR大數據語義智能分析平臺主要有精準採集、文檔轉化、新詞發現、批量分詞、語言統計、文本聚類、文本分類、摘要實體、智能過濾、情感分析、文檔去重、全文檢索、編碼轉換等十餘項功能模塊，平臺提供了客戶端工具，雲服務與二次開發接口等多種產品使用形式。各個中間件API能夠無縫地融合到客戶的各種複雜應用系統之中，可兼容Windows，Linux， Android，Maemo5, FreeBSD等不一樣操做系統平臺，能夠供Java，Python，C，C#等各種開發語言使用。
　　數據挖掘技術自己就是當前數據技術發展的新領域，文本挖掘則發展歷史更短。傳統的信息檢索技術對於海量數據的處理並不盡如人意，文本挖掘便日益重要起來，可見文本挖掘技術是從信息抽取以及相關技術領域中慢慢演化而成的。在信息管理領域，綜合應用數據挖掘技術和人工智能技術，獲取用戶知識、文獻知識等各種知識，將是實現知識檢索和知識管理髮展的必經之路。