大數據又稱為巨量資料，指的是需要新處理模式才能具有更強的決策力、洞察力和流程優化能力的海量、高增長率和多樣化的信息資產。現如今，大數據的應用范圍越來越廣了，很多領域都開始使用大數據來分析情況。本文是一篇關于大數據的論文范文，屬于中級工程師職稱論文，文章論述了大數據分析與應用問題研究，有需要發表論文的作者可以聯系網站在線編輯投稿。

 　　【摘 要】大數據具有規模大、種類多、生成速度快、價值巨大但密度低的特點。大數據應用就是利用數據分析的方法，從大數據中挖掘有效信息，為用戶提供輔助決策，實現大數據價值的過程。主要介紹了大數據定義，分析方法、應用領域等相關問題。

　　【關鍵詞】中級工程師職稱論文,大數據,數據分析,應用領域

　　1.大數據的定義

　　美國國家標準和技術研究院對大數據做出了定義：“大數據是指其數據量、采集速度，或數據表示限制了使用傳統關系型方法進行有效分析的能力，或需要使用重要的水平縮放技術來實現高效處理的數據。”我們認為大數據價值鏈可分為：數據生成、數據采集、數據儲存以及數據分析。數據分析是大數據價值鏈的最后也是最重要的階段，是大數據價值的實現，是大數據應用的基礎，其目的在于提取有用的值，提供論斷建議或支持決策，通過對不同領域數據集的分析可能會產生不同級別的潛在價值。

　　可用于大數據分析的傳統數據分析方法：(1)聚類分析。聚類分析是劃分對象的統計學方法，指把具有某種相似特征的物體或者事物歸為一類。聚類分析的目的在于辨別在某些特性上相似(但是預先未知)的事物，并按這些特性將樣本劃分成若干類(群)，使在同一類內的事物具有高度的同質性，而不同類的事物則有高度的異質性。聚類分析是一種沒有使用訓練數據的無監督式學習。(2)因子分析。因子分析的基本目的就是用少數幾個因子去描述許多指標或因素之間的聯系，即將相互比較密切的幾個變量歸在同一類中，每一類變量就成為一個因子(之所以稱其為因子，是因為它是不可觀測的，即不是具體的變量)，以較少的幾個因子反映原數據的大部分信息。(3)相關分析。相關分析法是測定事物之間相關關系的規律性，并據以進行預測和控制的分析方法。社會經濟形象之間存在著大量的相互聯系、相互依賴、相互制約的數量關系。這種關系可分為兩種類型。一類是函數關系，它反映著現象之間嚴格的依存關系，也稱確定性的依存關系。在這種關系中，對于變量的每一個數值，都有一個或幾個確定的值與之對應。另一類為相關關系，在這種關系中，變量之間存在著不確定、不嚴格的依存關系，對于變量的某個數值，可以有另一變量的若干數值與之相對應，這若干個數值圍繞著它們的平均數呈現出有規律的波動。(4)回歸分析。回歸分析是研究一個變量與其他若干變量之間相關關系的一種數學工具，它是在一組實驗或觀測數據的基礎上，尋找被隨機性掩蓋了的變量之間的依存關系。通過回歸分析，可以把變量間的復雜的、不確定的關系變得簡單化、有規律化。

　　雖然這些傳統的分析方法已經被應用于大數據領域，但是它們在處理規模較大的數據集合時，效率無法達到用戶預期，且難以處理復雜的數據，如非結構化數據。因此，出現了許多專門針對大數據的集成、管理及分析的技術和方法。

　　2.大數據分析方法

　　布隆過濾器：其實質是一個位數組和一系列HASH函數。布隆過濾器的原理是利用位數組存儲數據的HASH值而不是數據本身，其本質是利用HASH函數對數據進行有損壓縮存儲的位圖索引。其優點是具有較高的空間效率和查詢速率，缺點是有一定的誤識別率和刪除困難。布隆過濾器適用于允許低誤識別率的大數據場合。

　　HASH法，其本質是將數據轉化為長度更短的定長的數值或索引值的方法。這種方法的優點是具有快速的讀寫和查詢速度，缺點是難以找到一個良好的HASH函數。

　　索引：無論是在管理結構化數據的傳統關系數據庫，還是管理半結構化和非結構化數據的技術中，索引都是一個減少磁盤讀寫開銷、提高增刪改查速率的有效方法。索引的缺陷在于需要額外的開銷存儲索引文件，且需要根據數據的更新而動態維護。

　　TRIE樹：又稱為字典樹，是HASH樹的變種形式，多被用于快速檢索，和詞頻統計。TRIE樹的思想是利用字符串的公共前綴，最大限度地減少字符串的比較，提高查詢效率。

　　并行計算：相對于傳統的串行計算，并行計算是指同時使用多個計算資源完成運算。其基本思想是將問題進行分解，由若干個獨立的處理器完成各自的任務，以達到協同處理的目的。

　　傳統數據分析方法，大多數都是通過對原始數據集進行抽樣或者過濾，然后對數據樣本進行分析，尋找特征和規律，其最大的特點是通過復雜的算法從有限的樣本空間中獲取盡可能多的信息。隨著計算能力和存儲能力的提升，大數據分析方法與傳統分析方法的最大區別在于分析的對象是全體數據，而不是數據樣本，其最大的特點在于不追求算法的復雜性和精確性，而追求可以高效地對整個數據集的分析。總之，傳統數據方法力求通過復雜算法從有限的數據集中獲取信息，其更加追求準確性;大數據分析方法則是通過高效的算法、模式，對全體數據進行分析。

　　3.大數據應用領域

　　目前根據數據的生成方式和結構特點不同，可以將數據分析劃分為6個關鍵技術領域：(1)結構化數據。一直是傳統數據分析的重要研究對象，目前主流的結構化數據管理工具，如關系型數據庫等，都提供了數據分析功能。(2)文本。是常用的存儲文字、傳遞信息的方式，也是最常見的非結構化數據。一直演化到21世紀初新興的在線社交網絡分析。(3)WEB數據。WEB技術的發展，極大地豐富了獲取和交換數據的方式，WEB數據高速的增長，使其成為大數據的主要來源。(4)多媒體數據。隨著通訊技術的發展，圖片、音頻、視頻等體積較大的數據，也可以被快速地傳播，由于缺少文字信息，其分析方法與其他數據相比，具有顯著的特點。(5)社交網絡數據。從一定程度上反映了人類社會活動的特征，具有重要的價值。(6)移動數據。與傳統的互聯網數據不同，具有明顯的地理位置信息、用戶個體特征等其他信息。

　　大數據未來的應用領域和方向還包括以下幾個方面：(1)大數據可視化。在許多人機交互場景中，都遵循所見即所得的原則，例如文本和圖像編輯器等。在大數據應用中，混雜的數據本身是難以輔助決策的，只有將分析后的結果以友好的形式展現，才會被用戶接受并加以利用。報表、直方圖、餅狀圖、回歸曲線等經常被用于表現數據分析的結果，以后肯定會出現更多的新穎的表現形式，例如微軟的“人立方”社交搜索引擎使用關系圖來表現人際關系。(2)面向數據。程序是數據結構和算法，而數據結構就是存儲數據的。在程序設計的發展歷程中，也可以看出數據的地位越來越重要。在邏輯比數據復雜的小規模數據時代，程序設計以面向過程為主;隨著業務數據的復雜化，催生了面向對象的設計方法。如今，業務數據的復雜度已經遠遠超過業務邏輯，程序也逐漸從算法密集型轉向數據密集型。可以預見，一定會出現面向數據的程序設計方法，如同面向對象一樣，在軟件工程、體系結構、模式設計等方面對IT技術的發展產生深遠的影響。

　　4.結束語

　　大數據引發思維變革。在大數據時代，數據的收集、獲取和分析都更加快捷，這些海量的數據將對我們的思考方式產生深遠的影響。分析數據時要盡可能地利用所有數據，而不只是分析少量的樣本數據。相比于精確的數據，我們更樂于接受紛繁復雜的數據。我們應該更為關注事物之間的相關關系，而不是探索因果關系。大數據的簡單算法比小數據的復雜算法更為有效。大數據的分析結果將減少決策中的草率和主觀因素，數據科學家將取代“專家”。 [科]

　　【參考文獻】

　　[1]鄔賀銓.大數據時代的機遇與挑戰[J].求是，2013(04).

　　[2]黃曉斌，鐘輝新.基于大數據的企業競爭情報系統模型構建[J].情報雜志，2013(03)

　　中級工程師職稱論文發表期刊推薦《計算機研究與發展》是中國科學院計算技術研究所和中國計算機學會聯合主辦的學術性期刊，科學出版社出版，國內外公開發行。她誕生于我國計算機事業的初創時期(1958年)，是我國第一個計算機刊物，它是隨著中國計算機事業的發展而成長起來的。