聯(lián)機(jī)分析處理 (OLAP)通過(guò)快速、一致、交互地訪問(wèn)各種可能的信息視圖,幫助數(shù)據(jù)分析人員、管理人員、決策人員洞察數(shù)據(jù)的奧秘,掌握隱藏于其中的規(guī)律。
OLAP力圖處理數(shù)據(jù)倉(cāng)庫(kù)中浩如煙海的數(shù)據(jù),并將之轉(zhuǎn)化為有用的信息,從而實(shí)現(xiàn)對(duì)數(shù)據(jù)的歸納、分析和處理,幫助企業(yè)完成決策。 OLAP支持最終用戶進(jìn)行動(dòng)態(tài)多維分析,其中包括跨維、在不同層次之間跨成員的計(jì)算和建模;在時(shí)間序列上的趨勢(shì)分析、預(yù)測(cè)分析:切片和切塊,并在屏幕上顯示,從宏觀到微觀,對(duì)數(shù)據(jù)進(jìn)行深入分析;可查詢到底層的細(xì)節(jié)數(shù)據(jù);在觀察區(qū)域中旋轉(zhuǎn),進(jìn)行不同的維間的比較。
聯(lián)機(jī)分析(OLAP)是由關(guān)系數(shù)據(jù)庫(kù)之父E.F.Codd于1993年提出的一種數(shù)據(jù)動(dòng)態(tài)分析模型,它允許以一種稱為多維數(shù)據(jù)集的多維結(jié)構(gòu)訪問(wèn)來(lái)自商業(yè)數(shù)據(jù)源的經(jīng)過(guò)聚合和組織整理的數(shù)據(jù)。以此為標(biāo)準(zhǔn),OLAP作為單獨(dú)的一類產(chǎn)品同聯(lián)機(jī)事務(wù)處理(OLTP)得以明顯區(qū)分。
有點(diǎn)深?yuàn)W是不是?其實(shí)并不復(fù)雜,OLAP最基本的概念其實(shí)只有三個(gè):多維觀察、數(shù)據(jù)鉆取、CUBE運(yùn)算。
從動(dòng)態(tài)的多維角度分析數(shù)據(jù)
我們?cè)谄綍r(shí)工作中,會(huì)遇到各種問(wèn)題,在分析問(wèn)題的時(shí)候,同樣的現(xiàn)象,我們會(huì)從多個(gè)角度去分析考慮,并且有時(shí)候我們還會(huì)從幾個(gè)角度綜合起來(lái)進(jìn)行分析。這就是OLAP分析最基本的概念:從多個(gè)觀察角度的靈活組合來(lái)觀察數(shù)據(jù),從而發(fā)現(xiàn)數(shù)據(jù)內(nèi)在規(guī)律。
OLAP將數(shù)據(jù)分為兩種特征,一種為表現(xiàn)特征,比如一個(gè)銷售分析模型中的銷售額、毛利等;還有一種為角度特征,比如銷售分析中的時(shí)間周期、產(chǎn)品類型、銷售模式、銷售區(qū)域等。前者是被觀察的對(duì)象,OLAP術(shù)語(yǔ)稱之為“度量數(shù)據(jù)”,后者為觀察視角,OLAP術(shù)語(yǔ)稱之為“維數(shù)據(jù)”。
如果建立這樣一個(gè)模型,我們就可以根據(jù)業(yè)務(wù)需求,從產(chǎn)品類型角度去觀察各個(gè)銷售地區(qū)的銷售額數(shù)據(jù)(以產(chǎn)品類型和銷售地區(qū)為維、以銷售額為度量);或者我們還可以從銷售模式的角度去觀察各個(gè)銷售地區(qū)的銷售額數(shù)據(jù)(以銷售模式和銷售地區(qū)為維、以銷售額為度量)。
在Max@X Analyser的OLAP模型中,每個(gè)模型最多可以設(shè)定255個(gè)維、1024個(gè)度量,也就是說(shuō),我們可以從255個(gè)角度或者角度組合,去同時(shí)觀察1024個(gè)數(shù)據(jù)對(duì)象的變化。
對(duì)數(shù)據(jù)進(jìn)行鉆取,以獲得更為精確的信息
在分析過(guò)程中,我們可能需要在現(xiàn)有數(shù)據(jù)基礎(chǔ)上,將數(shù)據(jù)進(jìn)一步細(xì)化,以獲得更為精確的認(rèn)識(shí)。這就是OLAP中數(shù)據(jù)鉆取的概念。
比如,在銷售分析中,當(dāng)我們以產(chǎn)品類型和銷售地區(qū)為維、以銷售額為度量進(jìn)行分析的時(shí)候,可能希望進(jìn)一步觀察某類產(chǎn)品的不同銷售模式在各個(gè)銷售地區(qū)的表現(xiàn),這時(shí)我們就可以在產(chǎn)品大類這個(gè)數(shù)據(jù)維下面,再加上一個(gè)銷售模式維,從而獲得相應(yīng)的信息。
創(chuàng)建數(shù)據(jù)CUBE
那么,要滿足上述運(yùn)算,需要什么樣的前提呢?
我們可以想像,和報(bào)表不同,OLAP分析所需的原始數(shù)據(jù)量是非常龐大的。一個(gè)分析模型,往往會(huì)涉及數(shù)百萬(wàn)條、數(shù)千萬(wàn)條、甚至更多;而分析模型中包含多個(gè)維數(shù)據(jù),這些維又可以由瀏覽者作任意的提取組合。這樣的結(jié)果就是大量的實(shí)時(shí)運(yùn)算導(dǎo)致的時(shí)間延滯。我們可以設(shè)想,一個(gè)對(duì)于1000萬(wàn)條記錄的分析模型,如果一次提取4個(gè)維度進(jìn)行組合分析,那么實(shí)際的運(yùn)算次數(shù)將達(dá)到4的1000次方的數(shù)量:這樣的運(yùn)算量將導(dǎo)致數(shù)十分鐘乃至更長(zhǎng)的等待時(shí)間。如果用戶對(duì)維組合次序進(jìn)行調(diào)整,或者增加減少某些維度的話,又將是一個(gè)重新的計(jì)算過(guò)程。
從上面分析,我們可以得出結(jié)論,如果不能解決OLAP運(yùn)算效率問(wèn)題的話,OLAP將是一個(gè)毫無(wú)實(shí)用價(jià)值的概念。那么,作為一個(gè)成熟產(chǎn)品是如何解決這個(gè)問(wèn)題的呢?這就是OLAP中一個(gè)非常重要的技術(shù):數(shù)據(jù)CUBE預(yù)運(yùn)算。
一個(gè)OLAP模型中,度量數(shù)據(jù)和維數(shù)據(jù)我們應(yīng)該實(shí)現(xiàn)確定,一旦兩者確定下來(lái),那么我們可以對(duì)數(shù)據(jù)進(jìn)行預(yù)先的處理,在正式發(fā)布之前,將數(shù)據(jù)根據(jù)維進(jìn)行最大限度的聚類運(yùn)算,運(yùn)算中會(huì)考慮到各種維組合情況,運(yùn)算結(jié)果將生成一個(gè)數(shù)據(jù)CUBE,并保存在服務(wù)器上。這樣,當(dāng)最終用戶在調(diào)閱這個(gè)分析模型的時(shí)候,就可以直接使用這個(gè)CUBE,在此基礎(chǔ)上根據(jù)用戶的維選擇和維組合進(jìn)行復(fù)運(yùn)算,從而達(dá)到實(shí)時(shí)響應(yīng)的這么一個(gè)效果。
作為一個(gè)成熟的產(chǎn)品,Max@X Analyser無(wú)論是在CUBE創(chuàng)建還是后續(xù)的瀏覽操作,效率都是非常高的。測(cè)試結(jié)果表明:原始數(shù)據(jù)行數(shù)在3200萬(wàn)條記錄的時(shí)候,包含10個(gè)維數(shù)據(jù)組合、2個(gè)度量數(shù)據(jù)的CUBE,創(chuàng)建周期為132分鐘,裝載效率是12.5秒。這樣的成績(jī)對(duì)比世界上任何一個(gè)高端OLAP同類產(chǎn)品,都不遜色。(需要更為詳細(xì)的測(cè)試報(bào)告,可以與炎鼎軟件聯(lián)系)。
補(bǔ)充說(shuō)明
上面所說(shuō)的,是OLAP最基本的概念,除此以外,OLAP通常包括的功能包括數(shù)據(jù)旋轉(zhuǎn)(變換觀察維組合順序)、數(shù)據(jù)切片(過(guò)濾無(wú)關(guān)數(shù)據(jù),對(duì)指定數(shù)據(jù)進(jìn)行重點(diǎn)觀察),以及對(duì)數(shù)據(jù)進(jìn)行跨行列運(yùn)算(如Max@X Analyser中的增加行列差額、等比環(huán)比等擴(kuò)展運(yùn)算)。
如果您希望了解更多關(guān)于OLAP的信息,請(qǐng)與炎鼎軟件技術(shù)支持聯(lián)系。
OLAP(聯(lián)機(jī)分析處理)。
什么是聯(lián)機(jī)分析處理(OLAP) 聯(lián)機(jī)分析處理 (OLAP) 的概念最早是由關(guān)系數(shù)據(jù)庫(kù)之父E.F.Codd于1993年提出的,他同時(shí)提出了關(guān)于OLAP的12條準(zhǔn)則。OLAP的提出引起了很大的反響,OLAP作為一類產(chǎn)品同聯(lián)機(jī)事務(wù)處理 (OLTP) 明顯區(qū)分開(kāi)來(lái)。
當(dāng)今的數(shù)據(jù)處理大致可以分成兩大類:聯(lián)機(jī)事務(wù)處理OLTP(on-line transaction processing)、聯(lián)機(jī)分析處理OLAP(On-Line Analytical Processing)。OLTP是傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)的主要應(yīng)用,主要是基本的、日常的事務(wù)處理,例如銀行交易。
OLAP是數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的主要應(yīng)用,支持復(fù)雜的分析操作,側(cè)重決策支持,并且提供直觀易懂的查詢結(jié)果。下表列出了OLTP與OLAP之間的比較。
OLTPOLAP用戶操作人員,低層管理人員決策人員,高級(jí)管理人員功能日常操作處理分析決策DB 設(shè)計(jì)面向應(yīng)用面向主題數(shù)據(jù)當(dāng)前的, 最新的細(xì)節(jié)的, 二維的分立的歷史的, 聚集的, 多維的集成的, 統(tǒng)一的存取讀/寫數(shù)十條記錄讀上百萬(wàn)條記錄工作單位簡(jiǎn)單的事務(wù)復(fù)雜的查詢用戶數(shù)上千個(gè)上百個(gè)DB 大小100MB-GB100GB-TB OLAP是使分析人員、管理人員或執(zhí)行人員能夠從多角度對(duì)信息進(jìn)行快速、一致、交互地存取,從而獲得對(duì)數(shù)據(jù)的更深入了解的一類軟件技術(shù)。OLAP的目標(biāo)是滿足決策支持或者滿足在多維環(huán)境下特定的查詢和報(bào)表需求,它的技術(shù)核心是"維"這個(gè)概念。
“維”是人們觀察客觀世界的角度,是一種高層次的類型劃分。“維”一般包含著層次關(guān)系,這種層次關(guān)系有時(shí)會(huì)相當(dāng)復(fù)雜。
通過(guò)把一個(gè)實(shí)體的多項(xiàng)重要的屬性定義為多個(gè)維(dimension),使用戶能對(duì)不同維上的數(shù)據(jù)進(jìn)行比較。因此OLAP也可以說(shuō)是多維數(shù)據(jù)分析工具的集合。
OLAP的基本多維分析操作有鉆?。╮oll up和drill down)、切片(slice)和切塊(dice)、以及旋轉(zhuǎn)(pivot)、drill across、drill through等。 ·鉆取是改變維的層次,變換分析的粒度。
它包括向上鉆?。╮oll up)和向下鉆?。╠rill down)。roll up是在某一維上將低層次的細(xì)節(jié)數(shù)據(jù)概括到高層次的匯總數(shù)據(jù),或者減少維數(shù);而drill down則相反,它從匯總數(shù)據(jù)深入到細(xì)節(jié)數(shù)據(jù)進(jìn)行觀察或增加新維。
·切片和切塊是在一部分維上選定值后,關(guān)心度量數(shù)據(jù)在剩余維上的分布。如果剩余的維只有兩個(gè),則是切片;如果有三個(gè),則是切塊。
·旋轉(zhuǎn)是變換維的方向,即在表格中重新安排維的放置(例如行列互換)。 OLAP有多種實(shí)現(xiàn)方法,根據(jù)存儲(chǔ)數(shù)據(jù)的方式不同可以分為ROLAP、MOLAP、HOLAP。
ROLAP表示基于關(guān)系數(shù)據(jù)庫(kù)的OLAP實(shí)現(xiàn)(Relational OLAP)。以關(guān)系數(shù)據(jù)庫(kù)為核心,以關(guān)系型結(jié)構(gòu)進(jìn)行多維數(shù)據(jù)的表示和存儲(chǔ)。
ROLAP將多維數(shù)據(jù)庫(kù)的多維結(jié)構(gòu)劃分為兩類表:一類是事實(shí)表,用來(lái)存儲(chǔ)數(shù)據(jù)和維關(guān)鍵字;另一類是維表,即對(duì)每個(gè)維至少使用一個(gè)表來(lái)存放維的層次、成員類別等維的描述信息。維表和事實(shí)表通過(guò)主關(guān)鍵字和外關(guān)鍵字聯(lián)系在一起,形成了"星型模式"。
對(duì)于層次復(fù)雜的維,為避免冗余數(shù)據(jù)占用過(guò)大的存儲(chǔ)空間,可以使用多個(gè)表來(lái)描述,這種星型模式的擴(kuò)展稱為"雪花模式"。 MOLAP表示基于多維數(shù)據(jù)組織的OLAP實(shí)現(xiàn)(Multidimensional OLAP)。
以多維數(shù)據(jù)組織方式為核心,也就是說(shuō),MOLAP使用多維數(shù)組存儲(chǔ)數(shù)據(jù)。多維數(shù)據(jù)在存儲(chǔ)中將形成"立方塊(Cube)"的結(jié)構(gòu),在MOLAP中對(duì)"立方塊"的"旋轉(zhuǎn)"、"切塊"、"切片"是產(chǎn)生多維數(shù)據(jù)報(bào)表的主要技術(shù)。
HOLAP表示基于混合數(shù)據(jù)組織的OLAP實(shí)現(xiàn)(Hybrid OLAP)。如低層是關(guān)系型的,高層是多維矩陣型的。
這種方式具有更好的靈活性。 還有其他的一些實(shí)現(xiàn)OLAP的方法,如提供一個(gè)專用的SQL Server,對(duì)某些存儲(chǔ)模式(如星型、雪片型)提供對(duì)SQL查詢的特殊支持。
OLAP工具是針對(duì)特定問(wèn)題的聯(lián)機(jī)數(shù)據(jù)訪問(wèn)與分析。它通過(guò)多維的方式對(duì)數(shù)據(jù)進(jìn)行分析、查詢和報(bào)表。
維是人們觀察數(shù)據(jù)的特定角度。例如,一個(gè)企業(yè)在考慮產(chǎn)品的銷售情況時(shí),通常從時(shí)間、地區(qū)和產(chǎn)品的不同角度來(lái)深入觀察產(chǎn)品的銷售情況。
這里的時(shí)間、地區(qū)和產(chǎn)品就是維。而這些維的不同組合和所考察的度量指標(biāo)構(gòu)成的多維數(shù)組則是OLAP分析的基礎(chǔ),可形式化表示為(維1,維2,……,維n,度量指標(biāo)),如(地區(qū)、時(shí)間、產(chǎn)品、銷售額)。
多維分析是指對(duì)以多維形式組織起來(lái)的數(shù)據(jù)采取切片(Slice)、切塊(Dice)、鉆?。―rill-down和Roll-up)、旋轉(zhuǎn)(Pivot)等各種分析動(dòng)作,以求剖析數(shù)據(jù),使用戶能從多個(gè)角度、多側(cè)面地觀察數(shù)據(jù)庫(kù)中的數(shù)據(jù),從而深入理解包含在數(shù)據(jù)中的信息。 根據(jù)綜合性數(shù)據(jù)的組織方式的不同,目前常見(jiàn)的OLAP主要有基于多維數(shù)據(jù)庫(kù)的MOLAP及基于關(guān)系數(shù)據(jù)庫(kù)的ROLAP兩種。
MOLAP是以多維的方式組織和存儲(chǔ)數(shù)據(jù),ROLAP則利用現(xiàn)有的關(guān)系數(shù)據(jù)庫(kù)技術(shù)來(lái)模擬多維數(shù)據(jù)。在數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用中,OLAP應(yīng)用一般是數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用的前端工具,同時(shí)OLAP工具還可以同數(shù)據(jù)挖掘工具、統(tǒng)計(jì)分析工具配合使用,增強(qiáng)決策分析功能。
聲明:本網(wǎng)站尊重并保護(hù)知識(shí)產(chǎn)權(quán),根據(jù)《信息網(wǎng)絡(luò)傳播權(quán)保護(hù)條例》,如果我們轉(zhuǎn)載的作品侵犯了您的權(quán)利,請(qǐng)?jiān)谝粋€(gè)月內(nèi)通知我們,我們會(huì)及時(shí)刪除。
蜀ICP備2020033479號(hào)-4 Copyright ? 2016 學(xué)習(xí)鳥(niǎo). 頁(yè)面生成時(shí)間:3.217秒