近些年，由于以社交網站、基于位置的服務lbs 等為代表的新型信息產生方式的涌現，以及云計算、移動和物聯網技術的迅猛發展，無處不在的移動、無線傳感器等設備無時不刻都在產生數據，數以億計用戶的互聯網服務時時刻刻都在產生著數據交互，大數據時代已經到來。在當下，大數據炙手可熱，不管是企業還是個人都在談論或者從事大數據相關的話題與業務，我們創造大數據同時也被大數據時代包圍。在大量的數據中找到有意義的模式和規則。在大量數據面前，數據的獲得不再是一個障礙，而是一個優勢。對于數據量早已逾越tb、增長率驚人、實時性高的大數據，如何分析、管理、利用大數據等工作仍將面臨若干的挑戰。

大數據是為更經濟地從高頻率的、大容量的、 不同結構和類型的數據中獲取價值而設計的新一代構架和技術。所有對大數據的定義基本上是從大數據的特征出發，通過這些特征的闡述和歸納給出其定義。在這些定義中，可將大數據的特點總結為：規模性(volume)、多樣性(variety)、高速型(velocity )和價值性(value)。

大數據的核心：數據挖掘。從頭至尾我們都脫離不了數據挖掘。其實從大學到現在一直都接觸數據挖掘，但是我們不關心是什么是數據挖掘，我們關心的是我們如何通過數據挖掘過程中找到我們需要的東西。大數據的挖掘是從海量、不完全的、有噪聲的、模糊的、隨機的大型數據庫中發現隱含在其中有價值的、潛在有用的信息和知識的過程，也是一種決策支持過程。其主要基于人工智能，機器學習，模式學習，統計學等。通過對大數據高度自動化地分析，做出歸納性的推理，從中挖掘出潛在的模式，可以幫助企業、商家、用戶調整市場政策、減少風險、理性面對市場，并做出正確的決策。目前，在很多領域尤其是在商業領域如銀行、電信、電商等，數據挖掘可以解決很多問題，包括市場營銷策略制定、背景分析、企業管理危機等。大數據的挖掘常用的方法有分類、回歸分析、聚類、關聯規則、神經網絡方法、web 數據挖掘等。這些方法從不同的角度對數據進行挖掘。

數據挖掘的過程實際就是對數據進行分析和處理，所以其核心就在于數據的分析方法。要想確保分析方法的科學性，就必須確保所采用算法的科學性和可靠性，獲取數據潛在規律，并采取多元化的分析方法促進問題的解決和優化。

北京理工大學大數據搜索與挖掘實驗室張華平主任研發的nlpir大數據語義智能分析技術是對語法、詞法和語義的綜合應用。nlpir大數據語義智能分析平臺是根據中文數據挖掘的綜合需求,融合了網絡精準采集、自然語言理解、文本挖掘和語義搜索的研究成果,并針對互聯網內容處理的全技術鏈條的共享開發平臺。

其中kgb(knowledge graph builder)知識圖譜引擎是我們自主研發的知識圖譜構建與推理引擎，基于漢語詞法分析的基礎上，采用kgb語法實現了實時高效的知識生成，可以從非結構化文本中抽取各類知識，并實現了從表格中抽取指定的內容等。kgb同時可以定義不同的動作，如抽取動作，并能自定義各類后處理程序。利用kgb知識圖譜引擎可以抽取到產品的詳細報價信息，方便進行下一步的數據挖掘與圖譜構建。

隨著云計算、移動互聯網以及物聯網等技術的發展和完善，相信大數據在各個領域的應用會越來越廣泛和深入，相關的研究也會越來越全面和深入，在信息管理領域，綜合應用數據挖掘技術和人工智能技術，獲取用戶知識、文獻知識等各類知識，將是實現知識檢索和知識管理發展的必經之路。