近十幾年來，隨著數(shù)據(jù)庫系統(tǒng)的廣泛流行以及計算機技術(shù)的快速發(fā)展，人們利用信息技術(shù)生產(chǎn)和搜集數(shù)據(jù)的能力大幅度提高。千萬個數(shù)據(jù)庫被用于商業(yè)管理、政府辦公、科學(xué)研究和工程開發(fā)等，特別是網(wǎng)絡(luò)系統(tǒng)的流行，使得信息爆炸性增長。這一趨勢將持續(xù)發(fā)展下去。大量信息在給人們帶來方便的同時也帶來了一大堆的問題：第一是信息過量，難以消化;第二是信息真假難以辨認;第三是信息安 全難以保證;第四是信息形式不一致，難以統(tǒng)一處理。面對這種狀況，一個新的挑戰(zhàn)被提出來：如何才能不被信息的汪洋大海所淹沒，從中及時發(fā)現(xiàn)有用的知識，提高信息利用率呢?這時出現(xiàn)了新的技術(shù)——數(shù)據(jù)挖掘(data mining)技術(shù)便應(yīng)用而生了。

數(shù)據(jù)挖掘是為了解決傳統(tǒng)分析方法的不足,并針對大規(guī)模數(shù)據(jù)的分析處理而出現(xiàn)的。數(shù)據(jù)挖掘通過在大量數(shù)據(jù)的基礎(chǔ)上對各種學(xué)習(xí)算法的訓(xùn)練,得到數(shù)據(jù)對象間的關(guān)系模式,這些模式反映了數(shù)據(jù)的內(nèi)在特性,是對數(shù)據(jù)包含信息的更高層次的抽象。目前,在需要處理大數(shù)據(jù)量的科研領(lǐng)域中,數(shù)據(jù)挖掘受到越來越多的關(guān)注,同時,在實際問題中,大量成功運用數(shù)據(jù)挖掘的實例說明了數(shù)據(jù)挖掘?qū)�科學(xué)研究具有很大的促進作用。數(shù)據(jù)挖掘可以幫助人們對大規(guī)模數(shù)據(jù)進行高效的分析處理,以節(jié)約時間,將更多的精力投入到更高層的研究中,從而提高科研工作的 效率。

數(shù)據(jù)挖掘包括許多步驟：從大規(guī)模數(shù)據(jù)庫中(或從其他來源)取得數(shù)據(jù);選擇合適的特征屬性;挑選合適的樣本策略;剔除數(shù)據(jù)中不正常的數(shù)據(jù)并補足不夠的部分;用恰當?shù)慕稻S、變換使數(shù)據(jù)挖掘過程與數(shù)據(jù)模型相適合或相匹配;辨別所得到的是否是知識則需將得到的結(jié)果信息化或可視化，然后與現(xiàn)有的知識相結(jié)合比較。這些步驟是從數(shù)據(jù)到知識的必由之路。每一步驟都可能是成功的關(guān)鍵或失敗的開始。

數(shù)據(jù)挖掘技術(shù)本身就是當前數(shù)據(jù)技術(shù)發(fā)展的新領(lǐng)域，文本挖掘則發(fā)展歷史更短。傳統(tǒng)的信息檢索技術(shù)對于海量數(shù)據(jù)的處理并不盡如人意，文本挖掘便日益重要起來，可見文本挖掘技術(shù)是從信息抽取以及相關(guān)技術(shù)領(lǐng)域中慢慢演化而成的。

北京理工大學(xué)大數(shù)據(jù)搜索與挖掘?qū)嶒炇覐埲A平主任研發(fā)的nlpir-parser大數(shù)據(jù)語義智能分析技術(shù)是對語法、詞法和語義的綜合應(yīng)用。nlpir大數(shù)據(jù)語義智能分析平臺是根據(jù)中文數(shù)據(jù)挖掘的綜合需求,融合了網(wǎng)絡(luò)精準采集、自然語言理解、文本挖掘和語義搜索的研究成果,并針對互聯(lián)網(wǎng)內(nèi)容處理的全技術(shù)鏈條的共享開發(fā)平臺。

nlpir-parser大數(shù)據(jù)語義智能分析平臺主要有精準采集、文檔轉(zhuǎn)化、新詞發(fā)現(xiàn)、批量分詞、語言統(tǒng)計、文本聚類、文本分類、摘要實體、智能過濾、情感分析、文檔去重、全文檢索、編碼轉(zhuǎn)換等十余項功能模塊，平臺提供了客戶端工具，云服務(wù)與二次開發(fā)接口等多種產(chǎn)品使用形式。各個中間件api可以無縫地融合到客戶的各類復(fù)雜應(yīng)用系統(tǒng)之中，可兼容windows，linux， android，maemo5, freebsd等不同操作系統(tǒng)平臺，可以供java，python，c，c#等各類開發(fā)語言使用。

隨著云計算、移動互聯(lián)網(wǎng)以及物聯(lián)網(wǎng)等技術(shù)的發(fā)展和完善，相信大數(shù)據(jù)在各個領(lǐng)域的應(yīng)用會越來越廣泛和深入，相關(guān)的研究也會越來越全面和深入，在信息管理領(lǐng)域，綜合應(yīng)用數(shù)據(jù)挖掘技術(shù)和人工智能技術(shù)，獲取用戶知識、文獻知識等各類知識，將是實現(xiàn)知識檢索和知識管理發(fā)展的必經(jīng)之路。