數據庫，顧名思義是存儲和管理數據的倉庫，在這個信息化的時代，數據庫的研究和學習是非常重要的。本文主要針對基于動態數據倉庫的商務智能系統進行了一些研究，文章是一篇河北職稱論文發表范文。

　　摘要：商務智能應用中對動態實時獲取的數據進行分析越來越多，以達到快速做出響應和決策之目的。討論了動態數據倉庫數據實時加載和事件檢測處理特點;提出了利用變化數據捕獲技術構建動態數據倉庫，實現商務智能系統的實時決策，并通過反向分發將決策信息推送到應用系統的框架模式;給出了基于動態數據倉庫的數據閉環商務智能系統實例。

　　關鍵詞：動態數據倉庫,商務智能,變化數據捕獲,掙值,工作分解結構

　　0 引言

　　利用商務智能系統進行企業決策性分析已經成為眾多企業提高競爭力的重要方法之一。但隨著信息量的快速增長和市場競爭的日趨激烈，傳統意義上通過歷史性數據分析來幫助企業進行決策支持已經無法滿足用戶需求，企業能否快速獲取實時業務數據進行分析，并作出準確的反應決定了企業的存亡。由于企業各類信息獲取平臺的異構性，往往開發麻煩并且不好維護，同時這一過程需要頻繁的手工處理[1]。

　　本文提出了利用變化數據捕獲技術構建數據倉庫，并通過反向分發將信息推送到需要的系統的思想，改變了數據從前臺到后臺的單向瀑布，是一個閉合的數據價值過程。前臺作業變化之后，及時捕捉到這個變化，將它交給相關作業系統或商務智能平臺進行分析，升華出一定知識和經驗。但這個價值過程沒有結束，這些提煉出的知識和經驗的變化后續再次被抓取出來，重新作用于前臺作業。

　　1 商務智能

　　商務智能是一套完整的解決方案，是提升決策能力的概念、工具、方法以及應用軟件的一整套組合，從軟件系統應用角度看是數據倉庫、聯機分析處理、數據挖掘等技術方法和工具在商業活動中的集中應用。其工作原理是從企業各類數據源收集數據，經過抽取(Extract)、轉化(Transform)、加載(Load)，送入數據倉庫，使用數據查詢分析工具、數據挖掘工具和聯機分析處理工具對信息進行處理，并以定制的動態報表實時展示，從而將信息轉變為輔助決策的知識，最終呈現給用戶。商務智能軟件的功能有：多維數據分析及展現、報表工具、趨勢分析、可視化工具、數據挖掘等。

　　在滿足商務智能各基本功能的前提下，企業對如何保證獲取和分析數據的實時性更為關注。即：數據抽取、轉換、加載、集成的實時性和分析，以對決策提供實時支持。

　　2 動態數據倉庫

　　動態數據倉庫是對傳統數據倉庫的延伸和擴展，通過動態數據加載，動態事件驅動和動態數據訪問，對不同用戶群體(管理層、分析師、業務員)進行分門別類的決策支持，將原來后臺的商務智能推向前端，使實時商務智能[2]成為可能。

　　2.1 數據實時加載

　　數據倉庫作為商務智能的重要依托，是對“海量數據”、“大數據”進行分析處理的核心物理架構。借助數據倉庫技術，可以將來自于不同數據源平臺(如CRM、SCM、ERP、OA以及企業外部的系統和零散數據)格式不一的數據處理成語義格式一致的多源數據進行存儲。以往數據倉庫很強調海量，但隨著商業機會出現的周期越來越短，只有少數行業壟斷企業憑借海量數據獲得商業智能素材，對于大多數企業而言必須快速地掌握信息變化，即便是小量、甚至個別的信息也有商機可挖。由此可見，更快的動態數據日益成為今后的主流。相比傳統數據倉庫，動態數據倉庫強調數據的及時性和同步，其實質是將數據倉庫和一個運作數據存儲結合起來，以便對數據同時更新，并從同一個中央倉庫中獲得時間敏感性數據和詳細歷史數據。

　　動態數據倉庫關鍵是動態加載數據，也就是數據倉庫的ETL過程。ETL是將業務系統的數據源按一定順序進行采集，然后按照數據存儲結構進行合理的轉換，并將源數據中出現的二義性、重復、不完整、違反業務或邏輯規則等問題統一進行處理，最后按照數據倉庫的結構進行數據加載，也就是常說得數據抽取、轉化、裝載。這一過程實現了多種類、多平臺數據源的整合，解決數據在時間、不穩定性、依賴性等方面的差異，保證數據一致性，達到正確理解數據業務含義的目的，這也是ETL技術核心所在。數據的實時加載有多種方法，早期有短時間間隔內批量數據抽取盒利用EAI消息隊列的數據傳輸，后有利用SOA框架和XML統一數據格式解決數據與數據源的實時同步問題[34]。

　　隨著數據庫技術的發展，變化數據捕獲已成為幫助我們邁向數據倉庫之父Inmon描述的DW2.0技術時代。變化數據的捕獲、存儲、抓取的內容不限于關系數據表、文件、消息隊列等，SOA環境下的消息落地機制一樣可以被集成[56]。在新的數據架構中，動態更新數據將成為驅動企業整個服務環境的觸媒。

　　變化數據捕獲的常用方法有：①基于快照差分的抓取方法[7]：先生成兩個數據源快照，然后比較并計算出變更數據，這種方法對信息源依賴弱或沒有依賴，但是抓取變更數據的效率低，延遲時間較長;②基于觸發器的抓取方法：使用信息源數據庫的觸發器機制抓取變更數據[8]，抓取的變更數據實時性較高，但對信息源數據庫的事務處理影響較大;③基于事務日志的抓取方法：利用數據庫日志機制，分析數據庫的事務日志，計算出變更數據，抓取變更數據的效率相對較高，并且對信息源數據庫的事務處理影響較小;④數據庫管理系統提供的變化數據捕獲方法[9]：現在主流的商業數據庫廠商都推出了基于日志的數據抓取工具，Oracle、DB2、SQL Server均為比較成熟的關系型數據庫系統，且具有完備的日志結構，在數據庫的適當配置下，數據庫中的Delete/Insert/Update操作都將在其日志文件中有足夠的信息去記錄。通過對日志的讀取和分析，就可以實現變化數據捕獲。 　　2.2 事件檢測處理

　　動態數據倉庫另一個特征是在事件發生時，主動進行檢測，對其進行相應處理，并將結果自動反饋給用戶或業務系統，使用戶作出快速響應。事件可以是根據業務規則所定義的事件，也可以是基于時鐘的事件[1011]，一般包括同步事件處理和異步事件處理：①同步處理要按照各步驟之間的依賴關系順序執行，即每一步動作都要等上一步動作執行完成后再進行;②異步處理中各個動作之間是松耦合的，每一步操作并不依賴上一步的動作是否完成。

　　3 基于動態數據倉庫的商務智能系統設計

　　3.1 框架設計

　　商務智能系統從企業項目管理、資源規劃、客戶關系、供應鏈、OA等各系統中獲得數據。通過智能分析工具挖掘企業現狀，發現商機進行決策。

　　基于動態數據倉庫的商務智能系統架構包括源數據、動態數據加載、數據倉庫、應用層(OLAP、數據挖掘、報表工具等)以及用戶層。源數據來自于企業現有的各異構數據庫;動態數據加載則是通過變化數據捕獲實現異構數據源數據的集成過程，完成數據抽取、清洗/轉換、實時加載與索引等數據調和工作，目的是為運營分析與決策應用提供一個單一的、權威的數據倉庫;頂端數據共享與分析展示包括應用層和用戶層，應用層包含數據挖掘、智能分析、報表展示等一系列前端分析工具，用戶層是對分析結果的多樣化展示。

　　動態數據倉庫根據數據獲取、存儲和數據分析分為兩層：中央數據倉庫層、數據分析層。

　　中央數據倉庫作為數據模型的核心又包括周期數據、實時數據和匯總數據。周期數據以批量形式采用傳統ETL進行加載，加載的數據包括一次性導入和定期更新的數據，一般為相對穩定、面向主題及細節的數據，經過數據的抽取、清洗/轉換、加載與索引等工作后成為歷史的、規范的數據;實時數據采用CDC技術從各數據源實時抓取，主要是敏感的、其變化對決策影響較大的數據。由于結構和表示的不同，要經過清理，然后加載到數據倉庫中;匯總數據從周期數據和實時數據中按照業務需要進行多維建模，在數據分析前進行的數據匯總整理，以提高數據分析效率。

　　數據分析層為主題應用提供服務，滿足特殊的商務需要，用于支持查詢、分析、報表、數據挖掘等功能，同時也包括用于預警分析和風險分析的數據模型。

　　3.2 數據抓取

　　數據抓取過程按頻率不同分為周期性和實時抓取兩種。周期性抓取按天、周或月進行數據抽取。時間間隔越小，數據同步越接近實時，但利用成熟商用數據庫提供的數據抓取方法基本可以實現實時數據同步。變化數據捕獲原理是采用基于主動規則的事件觸發機制，當檢測到定義的事件發生時，按照定義好的規則執行相應的動作，進行數據更新。可以把業務數據庫的某些特定數據變化定義為事件，事件可以通過監控數據庫事務日志來實現檢測。

　　下面介紹基于日志的變化數據捕獲方法[12]。基于日志的變化數據捕獲，是通過分析基表變化的日志，獲得所需要的變更數據。數據庫中的插入、更新和刪除操作都在日志文件中進行。通過讀取日志，把捕獲源表的變更數據存入跟蹤的變更表中，并在更改表中添加有關更改信息，利用函數查詢變更數據，給出篩選結果，將其加載到數據倉庫中。目前SQL Server、Oracle、DB2都提供事務日志異步讀取的CDC產品，可以用于構建動態數據倉庫。

　　變化數據捕獲CDC為商務智能系統實時同步數據提供了新模式，解決了傳統ETL難以處理的一些集成問題，實現持續集成，與觸發器、快照查分等方法比較，基于日志的變化數據捕獲方法具有對數據性能影響較低、獲取數據延遲時間短、保證了事務特性等優點，可以廣泛應用于動態數據倉庫數據集成。

　　3.3 數據反向分發

　　動態數據倉庫中各類變更數據可以反向抓取到其它應用系統。此時的變更數據可以包括業務系統的變更，也可以是商務智能平臺執行的決策信息以及總結的經驗知識。這是一個事件主動檢測過程，使得在突發事件發生時，各應用系統相應時間和決策處理的起步時間相同，在為高層提供數據決策支持的同時，也滿足了一線用戶進行動態訪問快速了解事件的需要，為商業決策和后續處理爭取了寶貴時間。另一方面，通過商務智能平臺形成的經驗知識也可作用于前臺系統。

　　4 應用實例

　　下面以企業項目管理系統、財務預算系統、報銷系統、合同系統、采購系統說明基于變化數據捕獲構建動態數據倉庫，通過商務智能系統分析，反向限定企業各類業務，保證企業正常運轉之過程。

　　掙值原理是指引入已完成工作的預算值即掙值(EV)，用來對項目費用/進度進行綜合評估，即在項目實施過程中任一時刻，已完工作的預算值與該時刻此項工作計劃的預算值(PV)進行對比，以評估和預測其工作進度，并將已完成工作的預算值與工作實際消耗值(AV)作對比，以評估和預測其費用的執行效果，其中EV=PV×計劃完成百分比。同時還可計算出CV(費用偏差)、SV(進度偏差)、CPI(費用績效指數)、SPI(進度績效指數)等值，進行企業運營情況評估[1314]。

　　通過上述分析，要計算掙值，需要有企業工作分解結構(WBS)、計劃完成百分比、基于工作分解結構的預算、支出等信息。計劃完成百分比通過計劃預計工作量和實際工作量以及計劃權重計算得來。

　　動態數據倉庫的周期數據、實時數據主要包括項目工作分解結構表、工作量表、財務預算表、網報表、合同表、采購表。其中工作分解結構、網報、合同、采購數據需要實時更新，實時反映企業工作計劃和各類支出信息，工作量數據每月定期更新，預算數據每年更新兩次。根據上述基礎數據形成匯總數據，包括計劃預算值(PV)、工作實際消耗值(AV)、計劃完成百分比等。

　　工作分解結構是反饋工作量、預算、各類支出費用的基礎，工作分解結構通過數據抓取實時同步到數據倉庫中，同時將其反向抓取到合同、采購和報銷系統，用于將預算、支出費加載到各計劃節點上，累計得到計劃工作的預算值(PV)和實際消耗值(AV)，存儲到匯總表，明確各項工作任一時刻的財務收支情況。項目管理系統中每月工作量反饋完成后，根據預計工作量、實際工作量和計劃權重計算完成百分比，最后計算掙值(EV)。這樣在商務智能系統前臺展板即可繪制出針對項目及各關鍵計劃節點的PV曲線、AV曲線和EV曲線，進行掙值分析。此時一旦發現支出費用超標，則在BI系統中提出預警。據此修改數據倉庫的預警系數，該預警系數通過數據抓取實時分發到合同、采購、網報系統，以有效控制企業資金流。 　　5 結語

　　動態數據抓取技術將實時業務數據集成至數據倉庫，減少了人工操作，解決了企業異構平臺構建數據倉庫的問題，保證了數據的時效性，使得商務智能系統決策分析所依據的基礎數據更為及時準確，消除了數據集成過程中延時所產生的數據分析不準確的情況。同時通過這種動態數據的主動檢測和反向分發，實現決策數據和變更數據的反向流動，滿足了一線和高層人員的需要，縮短了決策周期，大大提高了企業決策速度。

　　參考文獻：

　　[1]LAW TON. George making business intelligence more useful[J].IEEE Computer Society，2007，39(9)：1416.

　　[2]B AZVINE，Z CUI，D D NAUCK，B MAJEEDRISE.Realtime business intelligence for the adaptive enterprise[C].The 8th IEEE International Conference on ECommerce Technology. San Francisco，CA，2006：2929.

　　[3]許力，馬瑞新.基于SOA的實時ETL的研究與實現[J].計算機工程與科學，2007，29(8)：115118.

　　[4]RONNIE ABRAHIEM. A new generation of middleware solutions for a near realtime data warehousing architecture[C].2007 IEEE International Conference on Electro/Information Technology，2007：192197.

　　[5]何盼.數據倉庫中面向服務架構的近實時更新機制應用研究[D].重慶：重慶大學，2008.

　　[6]胡耀民，余明輝.商務智能系統模型的研究和應用[J].計算機與現代化，2010(3)：5861.

　　[7]夏娟.基于快照差分的信息源更新檢測方法的研究[D]. 廣州：暨南大學，2006.

　　[8]劉樹，徐碩，黃其泉，等.一種基于觸發器的數據同步系統的研究及關鍵技術實現[J].計算機應用與軟件，2012，29(12)：189191.

　　計算機論文發表期刊推薦《無線互聯科技》是由江蘇省科學技術廳主管，江蘇省科技情報所主辦的大型科技月刊，是中國核心期刊(遴選)期刊、江蘇省優秀期刊。國內標準刊號：CN 32-1675/TN，國際標準刊號ISSN 1672-6944，面向國內外公開發行。