Mondrian + JPivot环境配置和演示
本文主要講解ROLAP，以及ROLAP的實現Mondrian的使用和部署問題。目前網上關于Mondrian部署的帖子較少，連官網也是若干年前的版本，因此，開貼記錄一下Mondrian在使用上的一些坑，關心Mondrian的使用請直接移步第二章。
1.OLAP簡介
1.1什么是OLAP
OLAP系統，英文為OnLine Analytical Processing，中文為聯機分析處理系統，它在數據分析和決策方面為用戶或“知識工人”提供服務，以不同的格式組織和提供數據，滿足不同用戶的形形色色的需求。與之相對的為OLTP(Online Transaction Processing，聯機事務處理)系統，該系統主要用于單位的大部分日常操作，如購物、庫存、制造、銀行、工資、注冊、記賬等。
OLAP和OLTP的主要區別如下：
- 用戶：OLTP是面向顧客的，用于事辦員、客戶和信息技術專業人員的事務和查詢處理。OLTP是面向市場的，用于知識工人（包括經理、主管和分析人員）的數據分析。
- 數據內容：OLTP系統管理日常的、瑣碎的數據，而這種數據一般很難用于決策。OLAP系統管理大量的歷史數據，提供匯總和聚集機制，并在不同的粒度層上存儲和管理系統。這些特點使得數據更容易用于有根據的決策。
- 數據庫設計：通常，OLTP系統采用實體-聯系（ER）數據模型和面向應用的數據庫設計。而OLAP系統通常采用星形或雪花模型和面向主題的數據庫設計。
- 視圖：OLTP系統主要關注一個企業或部門內部的當前數據，而不涉及歷史數據或不同單位的數據。相比之下，由于單位的演變，OLAP系統嘗嘗跨越數據庫模式的多個版本。OLAP系統還處理來自不同單位的信息，以及由多個數據庫集成的信息。
- 訪問模式：OLTP系統的訪問主要由短的原子事務組成。這種系統需要并發控制和恢復機制。然而，對OLAP系統的訪問大部分是只讀操作，大多數是復雜的查詢。
OLTP和OLAP的主要區別之一在于數據庫的選擇，由于OLTP系統是面向顧客的、需要并發控制和恢復機制，因此OLTP系統往往采用關系數據庫，如MySQL、Oracle數據庫等。而OLAP系統一般是只讀的、大量歷史數據的匯總和聚集，因此OLAP往往使用數據倉庫。
寬泛地講，數據倉庫是一種數據庫，它與單位的操作數據庫分別維護。數據倉庫系統允許將各種應用系統集成在一起，為統一的歷史數據分析提供堅實的平臺，對信息處理提供支持。面向主題的、集成的、時變的、非易失的是數據倉庫的主要特征，也是將數據倉庫與其他數據存儲系統（如關系數據庫系統、事務處理系統和文件系統）相區別。
- 面向主題的（subject-oriented）：數據倉庫圍繞一些重要主題，如顧客、供應商、產品和銷售組織，關注決策者的數據建模與分析，拍除對于決策無用的數據，提供特地主題的簡明視圖。
- 集成的（integrated）：構造數據倉庫通常是將多個異構數據源，如關系數據庫、一般文件和聯機事務處理記錄集成在一起。
- 時變的（time-variant）：數據存儲從歷史的角度提供信息。數據倉庫中的關鍵結構都隱式或顯示地包含時間元素。
- 非易失的（nonvolatile）：數據倉庫不需要事務處理、恢復和并發控制機制。通常，它只需要兩種數據訪問操作：數據的初始化裝入和數據訪問。
通常，數據倉庫采用三層體系結構：
1.2?為什么需要使用分離的數據倉庫
分離的主要原因是有助于提高兩個系統的性能。操作數據庫是為已知的任務和負載設計的。另一方面，數據倉庫的查詢通常是復雜的，涉及大量數據在匯總級的計算，可能需要特殊的基于多維視圖的數據組織、存取方法和實現方法。在操作數據庫上處理OLAP查詢，可能會大大降低操作任務的性能。此外，操作數據庫支持多事務的并發處理，需要并發控制和恢復機制，以確保一致性和事務的魯棒性。通常，OLAP查詢只需要對匯總和聚集數據記錄進行只讀訪問。最后，數據倉庫與操作數據庫分離是由于這兩種系統中數據的結構、內容和用法都不相同。
1.3?OLAP服務器的結構：ROLAP、MOLAP和HOLAP
用于OLAP處理的數據倉庫服務器的實現包括了ROLAP（關系OLAP）、MOLAP（多維OLAP）和HOLAP（混合OLAP），ROLAP服務器是一種中間服務器，介于關系的后端服務器和客戶前端工具之間，它們使用關系的或擴充關系的DBMS存儲并管理數據倉庫數據，而OLAP中間件支持其余部分，相應的實現有Mondrian等；MOLAP服務器通過基于數組的多維存儲引擎，支持數據的多維視圖，它們將多維視圖直接映射到數據立方體數組結構。使用數據立方體的優點是能夠對預計算的匯總數據快速索引，相應的實現有Cognos，SSAS，Kylin等；HOLAP服務器結合ROLAP和MOLAP技術，得益于ROLAP較大的可伸縮性和MOLAP的快速計算，比如微軟的SQL Server2000。它們的區別的表格如下：
| 名稱 | 描述 | 細節數據存儲位置 | 聚合后的數據存儲位置 | 代表 |
| ROLAP | 基于關系數據庫的OLAP實現 | 關系型數據庫 | 關系型數據庫 | Mondrian |
| MOLAP | 基于多維數據組織的OLAP實現 | 數據立方體 | 數據立方體 | Cognos，SSAS，Kylin |
| HOLAP | 基于混合數據組織的OLAP實現 | 關系數據庫 | 數據立方體 | SQL Server |
個人認為上面的幾種方式沒有絕對的優劣之分，選擇哪種結構還是和具體的應用有關。?
2.Mondrian+JPivot
Mondrian是ROLAP的實現之一，它是搭配構建數據立方體的XML文件，根據訪問的MDX語句動態查詢數據庫，在內存中存儲數據立方體，并返回結果，因此，Mondrian對內存的要求較高。
官網地址：https://mondrian.pentaho.com/documentation/olap.php。通過查看官網，你會發現，Mondrian是提供了war包的，然而，官網有關于[安裝]的內容應該滯后若干個版本，也就是說，單純的Mondrian只是提供了jar包，如果想要使用線上展示結果的功能，需要搭配JPivot一起使用，JPivot提供war包，它需要Mondrian的jar包，然后配合jsp代碼來實現網頁的可視化。有關于Mondrian和JPivot的環境配置，請參考參考文章的第三個Mondrian + JPivot 環境配置。從https://pan.baidu.com/s/1zkSyZJkTGabEFwcfsktDCw?下載?mondrian server.rar ,?test-mondrian.rar。本小節主要講解JPivot的粗略的運行方式。
test-mondrian.rar為控制臺運行的方式，運行Main.java，輸出如下：
Axis #0: {} Axis #1: {[Measures].[Amount]} Axis #2: {[AccessTime].[AllTime], [WebsiteNum].[AllSite], [UserIP].[AllIP]} Row #0: 278?Main.java中的MDX語句是查詢所有訪問記錄的總次數，查詢結果為278。但是控制臺查詢的弊端在于不夠直觀，比如MDX語句為：
SELECT {[Measures].[Unit Sales], [Measures].[Store Sales], [Measures].[Profit]} ON COLUMNS, {descendants([Time].[1997].[Q1])} ON ROWS FROM [Sales] WHERE [Gender].[F]?旨在查詢1997年第一季度的所有月份，女性的消費記錄，輸出如下：
Axis #0: {[Gender].[All Genders].[F]} Axis #1: {[Measures].[Unit Sales]} {[Measures].[Store Sales]} {[Measures].[Profit]} Axis #2: {[Time].[1997].[Q1]} {[Time].[1997].[Q1].[February]} ... {[Time].[1997].[Q1].[March].[15].[Sunday]} Row #0: 32,910 Row #0: 69,798.23 Row #0: $41,976.46 Row #1: 10,266 Row #1: 21,773.93 Row #1: $13,110.09 Row #2: 207 Row #2: 414.6 Row #2: $246.12 Row #3: 207 Row #3: 414.6 Row #3: $246.12 Row #4: 2,871 Row #4: 5,940.83 Row #4: $3,580.08 ... Row #109: 206 Row #109: 405.37 Row #109: $239.28?那么控制臺方式的輸出方式的缺點則更加凸顯，接下來，則開始講解JPivot。
參考文章3已經給出了一個簡單的demo，該示例為上述輸出的jsp版本。接下來主要分析，在jpivot.war的基礎上，如何自行添加相關的jsp頁面。這里假設tomcat已經處于運行之中，那么輸入http://127.0.0.1:8080/jpivot/index.jsp，頁面如下：
在上述頁面中，AccessInfo為壓縮包中的Sample Demo，FoodMart3為第二個MDX語句的輸出結果，首先觀察index.jsp，該文件在webapps\jpivot文件夾下，打開：
... <ul><li><a href="testpage.jsp?query=mondrian">Slice and Dice with two hierarchies</a></li><li><a href="testpage.jsp?query=fourhier">...and with four hierachies</a></li><li><a href="test/param3.jsp?query=mondrian">Dynamic parameters with Mondrian</a></li><li><a href="testpage.jsp?query=arrows">Arrows in Cells</a></li><li><a href="testpage.jsp?query=colors">Colors in Cells</a></li><li><a href="testpage.jsp?query=testquery">Test data</a></li><li><a href="testpage.jsp?query=AccessInfo">AccessInfo</a></li><li><a href="testpage.jsp?query=FoodMart3">FoodMart3</a></li><li><a href="test/param1.jsp?query=testquery">Dynamic parameters with test data</a></li> </ul> ...?通過對比網頁發現，<li><a href="testpage.jsp?query=AccessInfo">AccessInfo</a></li>為入口URL，那么接著打開testpage.jsp，第44行：
<%-- include query and title, so this jsp may be used with different queries --%> <wcf:include id="include01" httpParam="query" prefix="/WEB-INF/queries/" suffix=".jsp"/>prefix為前綴，suffix為后綴，再結合傳入的query，整合起來就是?/WEB-INF/queries/AccessInfo.jsp，接著打開該文件：
<%@ page import="mondrian.olap.*"%> <%@ page session="true" contentType="text/html; charset=UTF-8" %> <%@ taglib uri="http://www.tonbeller.com/jpivot" prefix="jp" %> <%@ taglib prefix="c" uri="http://java.sun.com/jstl/core" %><jp:mondrianQuery id="query01" jdbcDriver="com.mysql.jdbc.Driver" jdbcUrl="jdbc:mysql://localhost/jpivot" catalogUri="/WEB-INF/queries/AccessInfo.xml" jdbcUser="jpivot" jdbcPassword="jpivot" connectionPooling="false">select NON EMPTY {[Measures].[Amount]} ON COLUMNS,NON EMPTY{([AccessTime].[AllTime], [WebsiteNum].[AllSite], [UserIP].[AllIP]) } ON ROWSfrom [AccessAnalysis] </jp:mondrianQuery>?可以發現，該文件就是Main.java文件的jsp實現方式，可視化展示查詢結果：
JPivot還提供了諸如下鉆、上卷，圖表等功能，比如此時點擊AllTime可以觀察不同時間（注：我個人的數據庫中的部分數據存在修改，與db.sql不同）：
此時可以把AllTime關閉，點擊AllIP可以擦好看不同IP的訪問次數：
再點擊AllSite，可以查看哪些IP訪問了哪些網站：
點擊顯示圖表，默認展示柱狀圖：
總結：Mondrian+JPivort是比較強大的ROLAP工具，尤其是JPivot可以以可視化的形式展示結果。本示例只是展示了Mondrian的冰山一角。后續我可能會發布一些細節的功能實現，比如以restful的形式提供功能等。
3.注意事項
3.1 JPivot MDX編輯框中文亂碼和數據查詢問題
在Mondrian中有兩個有關于使用中文會遇到的坑，第一個就是在JPivot的MDX編輯界面時，輸入的中文會亂碼。這個問題我參考網上的并沒有解決。。。
第二個則是我個人遇到的坑。目前互聯網上有關Mondrian的連接一般是下面的流程：
package com.mondrian;import java.io.PrintWriter;import mondrian.olap.Connection; import mondrian.olap.DriverManager; import mondrian.olap.Query; import mondrian.olap.Result;public class Main {public static void main(String[] args) {String connectString = "Provider=mondrian;Jdbc=jdbc:mysql://127.0.0.1/FoodMart?user=root&password=root;Catalog=FoodMart3.xml;";Connection connection = DriverManager.getConnection(connectString,null);String mdx = "SELECT {[Measures].[Unit Sales], [Measures].[Store Sales], [Measures].[Profit]} ON COLUMNS," +" {[Time].[1997].[Q1]} ON ROWS" +" FROM [Sales] WHERE [Gender].[Gender].[男]";Query query = connection.parseQuery(mdx);Result result = connection.execute(query);PrintWriter pw = new PrintWriter(System.out);result.print(pw);pw.flush(); } }FoodMart3.xml是官方提供的一個示例，其文件內容如下：
<?xml version="1.0"?> <Schema name="FoodMart2"><Cube name="Sales"><Table name="sales_fact_1997"/><!--維表 性別--><Dimension name="Gender" foreignKey="customer_id"><Hierarchy hasAll="true" allMemberName="All Genders" primaryKey="customer_id"><Table name="customer"/><Level name="Gender" column="gender_zh" uniqueMembers="true"/></Hierarchy></Dimension><!--維表 時間--><Dimension name="Time" foreignKey="time_id"><Hierarchy hasAll="false" primaryKey="time_id"><Table name="time_by_day"/><Level name="Year" column="the_year" uniqueMembers="true"/><Level name="Quarter" column="quarter" uniqueMembers="false"/><Level name="Month" column="the_month" type="String" uniqueMembers="false"/><Level name="Week" column="week_of_year" uniqueMembers="false"/><Level name="Day" column="the_day" type="String" uniqueMembers="false"/></Hierarchy></Dimension><!--度量--><Measure name="Unit Sales" column="unit_sales" aggregator="sum" formatString="#,###"/><Measure name="Store Sales" column="store_sales" aggregator="sum" formatString="#,###.##"/><Measure name="Store Cost" column="store_cost" aggregator="sum" formatString="#,###,00"/><!--新定義的一個度量 Profit=[Store Sales] - [Store Cost]--><CalculatedMember name="Profit" dimension="Measures" formula="[Measures].[Store Sales] - [Measures].[Store Cost]"><CalculatedMemberProperty name="FORMAT_STRING" value="$#,##0.00"/></CalculatedMember></Cube> </Schema>注：在FoodMart3.xml文件中，我所做的就是在FoodMart數據庫中的customer表添加了一個gender_zh字段，其值可能是男或女。
首先是連接mysql數據庫和數據立方體的配置文件，然后一個查詢的MDX語句，最后則是輸出。使用這種方法貌似沒有問題，但是，此時輸出會返回空：
Axis #0: {[Gender].[All Genders].[男]} Axis #1: {[Measures].[Unit Sales]} {[Measures].[Store Sales]} {[Measures].[Profit]} Axis #2: {[Time].[1997].[Q1]} Row #0: Row #0: Row #0:?其中的一個主要原因，也就是我遇到的原因，就是在使用jdbc連接mysql數據庫的時候，沒有指定編碼方式，因此connectString應該改為：
String connectString = "Provider=mondrian;Jdbc=jdbc:mysql://127.0.0.1/FoodMart?useUnicode=true&characterEncoding=utf-8&user=root&password=root;Catalog=FoodMart3.xml;";此時輸出正常：
Axis #0: {[Gender].[All Genders].[男]} Axis #1: {[Measures].[Unit Sales]} {[Measures].[Store Sales]} {[Measures].[Profit]} Axis #2: {[Time].[1997].[Q1]} Row #0: 33,381 Row #0: 69,830.12 Row #0: $41,899.65如果是在JPivot中使用的話，則需要在jsp文件的<jp:mondrianQuery>的jdbcUrl添加userEncoding和characterEncoding即可：
<jp:mondrianQuery id="query01" jdbcDriver="com.mysql.jdbc.Driver" jdbcUrl="jdbc:mysql://127.0.0.1/ren_db?useEncoding=true&characterEncoding=utf-8" catalogUri="/WEB-INF/queries/FoodMart3.xml" jdbcUser="root" jdbcPassword="root" connectionPooling="false">SELECT {[Measures].[Unit Sales], [Measures].[Store Sales], [Measures].[Profit]} ON COLUMNS,{[Time].[1997].[Q1]} ON ROWS FROM [Sales] WHERE [Gender].[Gender].[男] </jp:mondrianQuery>3.2 Mondrian的版本問題
?目前官方同時維護的Mondrian版本有3.x、4.x和8.x。在github地址也并沒有過多提及相關的區別，在mondrian-rest（Mondrian-rest使用spring boot實現了Mondrian的restful API）中關于Mondrian版本的部分介紹為：
Initial development of mondrian-rest supported version 4.x of the Mondrian library. However, Mondrian 4.x does not appear to be under active development by the core Mondrian maintainers, so we have abandoned it as a dependency. The last version of mondrian-rest that supports version 4.x schemas is version 1.5.0. PRs for the 1.x line of mondrian-rest will be considered, but active development of mondrian-rest by the core committers is focused on Mondrian 8.x (and, at some point, version 9.x). There are significant schema differences between 4.x and 8.x+, however for the most part, the mondrian-rest API is consistent between mondrian-rest v2.x and v1.x.
內容大致是：
Mondrian-rest的初始開發支持Mondrian的4.x版本。但是，mondrian4.x似乎并沒有被核心維護人員積極開發，所以我們放棄了它作為一個依賴項。支持版本4.x架構的mondrian-rest的最后一個版本是版本1.5.0。mondrian-rest的積極開發主要集中在Mondrian的8.x版本（在某些情況下，版本9.x）。4.x和8.x+之間存在顯著的模式差異，但是在大多數情況下，mondrian-rest api在mondrian-rest v2.x和v1.x之間是一致的。?
3.3 可視化
Mondrian官方推薦使用JPivot實現OLAP的可視化，雖然JPivot在交互上較為強大，但是我個人認為它在可視化和使用上要略差，而且JPivot官網的war包很久沒有更新了，因此，這里我個人推薦使用Saiku來實現Mondrian的可視化。有關于Saiku的快速上手，我推薦這個資源：saiku2.6解壓我的Tomcat資源可以直接運行，以及這個帖子：saiku2.6完整版（運行Tomcat可以直接使用）。俗話說，百聞不如一見，通過這個資源和配套的這個帖子可以快速上手Saiku，在大致了解了saiku的功能后可以考慮是否使用saiku。
4.參考文章
淺談ROLAP、MOLAP和HOLAP區別
OLTP與OLAP的關系是什么？
Mondrian + JPivot 環境配置
《數據挖掘 概念與技術》
MDX語句（初學者）
Mondrian使用教程
mysql 中文java_java鏈接mysql 中文亂碼
總結
以上是生活随笔為你收集整理的Mondrian + JPivot环境配置和演示的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 国科大英语Unit5
- 下一篇： ELK+kafka集群实战