隨著計算機信息技術的飛速發展，大容量的存儲技術以及條形碼等數據獲取設備在生活中得到的廣泛的應用，我們在生活中也在與不同類型的數據打交道，這些數據背后隱藏著巨大的價值信息，如何深入挖掘數據有效利用數據是當前我們關注的主要問題。

《軟件和信息服務》軟件科技期刊，創刊于1984年，由中國電子信息產業發展研究院、北京中電報發展有限公司主辦。計算機科學技術刊物。旨在推動計算機在我國的應用，推動我國軟件產業的建立和發展，促進軟件應用社會化、軟件開發工程化、軟件成果商品化和軟件經營企業化等方面的工作更好開展。

數據倉庫是面向主題的,集成化的,并且隨著時間不短變化的數據集合,通過對不同的數據源進行轉化和繼承能夠對歷史數據和現有數據實現數據的綜合管理,從而為進一步分析挖掘數據提供基礎。筆者在下文中主要首先分析了當前數據挖掘的現狀,探討數據挖掘的基本技術和算法,最終研究基于數據倉庫的聯機分析挖掘平臺的實現。

1 數據挖掘的現狀

隨著數據庫技術以及數據處理的人工智能haunted發展,數據挖掘技術應運而生,數據挖掘技術旨在從大量的隱藏數據中挖掘出切實可用的信息,從而更好地服務與我們日常生產和生活的各個領域。數據挖掘技術具有構筑企業競爭優勢的特點,從而為其帶來經濟效益,因此當前許多知名企業和大型公司也紛紛加大了對數據挖掘的研究和應用。

數據挖掘從不同的劃分標準可以分為不同的類型,例如根據數據模型來劃分;可以將數據挖掘劃分為如下幾類:關系的、事務的、面向對象的、對象-關系的等,從特定類型來劃分,可以分為空間的、時間序列的。文本的、多媒體的等。復雜的數據挖掘系統一般會采用多種數據挖掘技術相結合,以集成化的數據挖掘系統支持毒品抽象層的知識發現。

從應用的角度來劃分,數據挖掘系統可以分類特定領域的數據挖掘工具和通用的數據挖掘工具,其中特定領域的數據挖掘工具主要是指針對某一特定領域的數據挖掘,在設計中針對數據的特殊性做了系統的進一步優化。相比較國外,我國對數據挖掘的研究起步還較晚,但經過長期大量的研究,已經開發出了一系列數據挖掘的工具,雖然還不完美,但總的來說取得了滿意的效果。

2 數據挖掘算法的內容

數據挖掘算法是對數據挖掘方法的具體實現,主要包括了以下三個部分主要內容,分別是模型表示、模型評價標準、發現方法。

1)模型表示:要提高模型的表達力,模型語言的恰當運用發揮著重要作用。語言的描述強度對模型的精準性產生著重大的影響,當語言表達能力過強的時候,可能會使得模型過分一般化,其精度也會相對下降,因此合理恰當把握模型表示的語言強度對于保證模型精準性具有重要意義。

2)模型評價標準:模型評價標準主要是指對一個模型的最終發現結果和具體的要求之間做出量化評價。針對預測類的模型,為了提高預測的精準度,可以利用測試數據集來進行評價。具體的評價內容可以從模型的精確度、新穎度以及實用價值來進行綜合評價。

3)發現方法:數據挖掘的發現方法可以分類兩類:參量發現、模型發現,發現方法是在完成模型表示和模型評價后,進行模型的最終優化數據挖掘。發現過程是一個嘗試和探索相結合的過程,需要不斷嘗試和改變參量來尋找最適合模型評價標準的參量,最終確定出最優的模型。

總的來說,對于數據挖掘算法不存在一個普遍使用的算法,算法的適用性和有效性主要是表現在某一個領域,在實際的算法運用中,需要選擇最恰當適用的數據挖掘算法,也就是說不能將已有的算法普遍運用于所有的領域中,是需要從新的領域的具體需求出發制定最優的數據挖掘算法。

3 數據挖掘算法與實現

根據數據挖掘的不同角度可以將數據挖掘技術劃分為不同的種類,例如從發現的知識種類來劃分數據挖掘技術,或者從挖掘方法分類,再者是根據挖掘的途徑來分類。筆者在此主要從技術的角度來進行分類,對數據挖掘技術中的幾個重要的方法做了如下詳細闡述:

1)決策樹方法:決策樹方法是數據挖掘算法中的一個重要方法,決策樹下的每一個分支是一個決策過程,每一個過程中涉及唯一一個數據的屬性,然后通過不斷滿足決策條件得到最終的決策結果。決策樹的構造中蘊含著分類規則,其核心內容在于構造精度高、規模小的決策樹,具體來說決策樹的構造可以分兩個主要步驟進行。首先是決策樹的生成,其生成過程是由訓練樣本集生成決策樹的過程,數據集一般來說應該是具有現實意義,有一定的綜合程度并且用于數據分析處理的。其次是要進行數據集的剪枝,是指對上一步驟中構造的決策樹進行檢驗、校正和修正。具體來說也就是要運用新的樣本數據集來作為測試數據集中的數據檢驗決策樹生成中產生的初步規則,將分支中阻礙預測準確性的部分剪除。

2)遺傳算法:基于遺傳算法的數據挖掘技術是一個模擬生物進化遺傳的過程,是在生物進化的思想啟發下得出的算法,遺傳算法相比較其他優化算法,主要有以下提出特點:一是遺傳算法將變量的編碼作為運算的對象,傳統的優化算法一般來說是直接利用決策變量的實際值來進行優化的計算,而遺傳算法引入例如遺傳操作的算子,采用決策變量的某種形式編碼;二是通過概率搜索技術,以概率的方式進行搜索,從而增加了整個搜索過程的適用性和靈活性。遺傳算法在當前的數據挖掘中得到了較為廣泛的應用,在作業調度、自動控制方面發揮著重要的作用。遺傳算法主要由三個基本的算子組成,分別是繁殖、交叉和變異。繁殖是指從一個舊的父代中選出生命力強的個體從而繁衍出后代;交叉是一個重組的過程,模擬生物遺傳中的基因交換部分,通過模擬染色體的交叉組合過程,不斷的嘗試最優組合,最終形成一個新的組合結果。遺傳算法是一個不斷優化的過程,在優化計算中具有明顯的優勢。

3)神經網絡方法:神經網絡方法是模擬生物的有一個方法,是對人腦神經元結構的模擬。神經網絡是由大量的并行分布式的處理單元組成的簡單處理單元,基于神經網絡方法的數據挖掘主要由兩個階段組成,分別是網絡構造、訓練、剪枝以及規則提取和評估。網絡構造、訓練和剪枝是選擇擬采用的網絡模型,選擇或者設計一種網絡訓練的算法。通過尋亂后的網絡略顯臃腫,因此就需要在保持準確性的基礎下,剪掉網絡中的多余的節點,最終產生精煉的簡易的網絡。規則的提取和評估階段主要是經過上一步驟以后已經相對簡單的網絡提取分類規則,最終轉化為更加易于理解的形式表達出來,例如決策樹、模糊邏輯等方法。最后再通過測試樣本對規則進行評估。在實際應用中是和神經網絡的數據挖掘問題主要有分類問題、時序預測、聚類等。相比較其他的數據挖掘算法神經網絡具有如下優勢:一是挖掘的層次更深,能夠處理的變量更多,具有分布記憶性和快速計算的優勢。但同時神經網絡算法也具有一些不足之處,例如在非數值型數據的處理和數據質量方面相對較弱。

4)基于粗糙集的數據挖掘算法:粗糙集理論是針對不完整和不確定信息的數學工具,它能夠分析數據中的不精確和不一致信息。在現實應用中,我們常會遇到許多粗糙數據的整理,如何在最短時間內找到有用信息,進行數據處理是當前面臨的主要問題,而粗糙集的數據挖掘方法在處理這一問題方面發揮著重要的作用。基于粗糙集的數據挖掘處理過程一般來說包括了以下幾個步驟:初始數據集、預處理、不可分辨矩陣、約減集、規則。預處理階段是指把數據庫中的初始數據信息轉化為粗糙集形式,明確其條件屬性和決策屬性;接下來再進行屬性約減,生成不可分辨據稱,從而形成約減性屬性集;最后在約減信息中去發現規則。在粗糙集的數據處理中,對象是行元素,屬性是列元素,條件屬性上的等價類和決策屬性上的等價類存在以下三種情況:一種是下近似即決策屬性上的等價類包含條件屬性上的等價類;一種是上近似決策屬性的等價類和條件屬性的等價類之間有交集;還有一種是無關即決策屬性的等價類和條件屬性的等價類不想交。在具體的規則上,采用針對下近似建立確定性的谷子額而對上近似建立不確定的規則。

5)模糊集方法:針對實際運用中的模糊判斷通常采用模糊集的方法,尤其是在系統復雜的數據庫中期精確化的能力就越低,模糊性的就越強。基于模糊集的模糊關聯規則的數據挖掘算法具體如下所示:首先輸入數據庫T={t1,…,tn},輸出:模糊觀念規則1.采用FCM算法將數量型屬性離散化,把取值劃分成不同的模糊等級;2.將數據庫T引入,加入數據,形成新的數據庫,根據上一步驟中劃分的模糊等級,賦予數據庫新的模糊屬性;3.計算并且得出所有的1-模糊頻繁屬性集,再對這些屬性集進行組合,其中不包含同一個IK標記的1-模糊頻繁屬性集,最終將包含相同IK標記的1-模糊頻繁屬性集作為2-模糊候選屬性集,以此類推,再將第一個模糊屬性相同的2-模糊頻繁屬性集進行組合,一直組合下去,直到發現所有模糊頻繁屬性集,最終從所用的模糊頻繁屬性集中生成不小于用戶級給定的最小信任的模糊關聯規則。

綜上所述,數據挖掘算法是多種多樣的,要根據確定的領域尋找最優的算法,從而提高數據挖掘的準確性,更好地服務于現代生產和生活。