當今,信息技術為人類步入智能社會開啟了大門,帶動了互聯網、物聯網、電子商務、現代物流、網絡金融等現代服務業發展,催生了車聯網、智能電網、新能源、智能交通、智能城市、高端裝備制造等新興產業發展.現代信息技術正成為各行各業運營和發展的引擎.但這個引擎正面臨著大數據這個巨大的考驗.各種業務數據正以幾何級數的形式爆發,其格式、收集、儲存、檢索、分析、應用等諸多問題,不再能以傳統的信息處理技術加以解決，因此大數據處理和挖掘技術就此出現。

大數據技術的戰略意義不在于掌握龐大的數據信息，而在于對這些含有意義的數據進行專業化處理。換言之，如果把大數據比作一種產業，那么這種產業實現盈利的關鍵，在于提高對數據的“加工能力”，通過“加工”實現數據的“增值”。

大數據的處理流程可以定義為在合適工具的輔助下，對廣泛異構的數據源進行抽取和集成，結果按照一定的標準統一存儲。利用合適的數據分析技術對存儲的數據進行分析，從中提取有益的知識并利用恰當的方式將結果展現給終端用戶。

一般可分為三個主要環節：數據抽取與集成、數據分析以及數據解釋。

數據的處理與集成：成主要是完成對于己經采集到的數據進行適當的處理、清洗去噪以及進一步的集成存儲。首先將這些結構復雜的數據轉換為單一的或是便于處理的結構。還需對這些數據進行“去噪”和清洗，以保證數據的質量以及可靠性。

數據分析：這是整個大數據處理流程的核心。因為在數據分析的過程中，會發現數據的價值所在。經過上一步驟數據的處理與集成后，所得的數據便成為數據分析的原始數據，根據所需數據的應用需求對數據進行進一步的處理和分析.傳統的數據處理分析方法有挖掘建模分析(數據挖掘方法)，智能建模分析(機器學習方法)，統計分析等。

數據解釋：對于廣大的數據信息用戶來講，最關心的并非是數據的分析處理過程，而是對大數據分析結果的解釋與展示。數據解釋常采用的方法有：可視化方式，人機交互方式，分析圖表方式等，其中常見的可視化技術有基于集合的可視化技術、基于圖標的技術、基于圖像的技術、向像素 的技術和分布式技術等。

北京理工大學大數據搜索與挖掘實驗室張華平主任研發的nlpir大數據語義智能分析技術是對語法、詞法和語義的綜合應用。nlpir大數據語義智能分析平臺平臺是根據中文數據挖掘的綜合需求,融合了網絡精準采集、自然語言理解、文本挖掘和語義搜索的研究成果,并針對互聯網內容處理的全技術鏈條的共享開發平臺。

其中kgb(knowledge graph builder)知識圖譜引擎是我們自主研發的知識圖譜構建與推理引擎，基于漢語詞法分析的基礎上，采用kgb語法實現了實時高效的知識生成，可以從非結構化文本中抽取各類知識，并實現了從表格中抽取指定的內容等。kgb同時可以定義不同的動作，如抽取動作，并能自定義各類后處理程序。利用kgb知識圖譜引擎可以抽取到產品的詳細報價信息，方便進行下一步的數據挖掘與圖譜構建。

大數據挖掘技術是一個充滿希望的研究領域，商業利益的強大驅動力將會不停地促進它的發展。每年都有新的數據挖掘方法和模型問世，人們對它的研究正日益廣泛和深入。對海量文本信息進行有效的數據挖掘已經是自然語言處理、信息檢索、信息分類、信息過濾、語義挖掘、文本的機器學習等諸多應用領域基礎且關鍵的研究問題，它影響著上層信息服務與信息共享的質量和水平。nlpir大數據語義智能技術將對中文數據挖掘技術進行深入研究，必將提供出高質量、多功能的中文數據挖掘算法并促進自然語言理解系統的廣泛應用。