?

1.簡述

??????? PMML全稱預(yù)言模型標(biāo)記模型（Predictive Model Markup Language），以XML 為載體呈現(xiàn)數(shù)據(jù)挖掘模型。PMML 允許您在不同的應(yīng)用程序之間輕松共享預(yù)測分析模型。因此，您可以在一個系統(tǒng)中定型一個模型，在 PMML 中對其進(jìn)行表達(dá)，然后將其移動到另一個系統(tǒng)中，而不需考慮分析和預(yù)測過程中的具體實現(xiàn)細(xì)節(jié)。使得模型的部署擺脫了模型開發(fā)和產(chǎn)品整合的束縛。通俗地講, 我有一個決策樹模型, 使用效果也不錯, 那么就可以把樹的結(jié)構(gòu)(節(jié)點間的父子關(guān)系, 節(jié)點內(nèi)的豐富信息 等)序列化為PMML文件, 共享給其他人使用.? 這樣無論你的模型是sklearn,R還是Spark MLlib生成的，我們都可以將其轉(zhuǎn)化為標(biāo)準(zhǔn)的XML格式來存儲。當(dāng)我們需要將這個PMML的模型用于部署的時候，可以使用目標(biāo)環(huán)境的解析PMML模型的庫來加載模型，并做預(yù)測。
???????

2. 主要結(jié)構(gòu)

PMML 文件的結(jié)構(gòu)遵從了用于構(gòu)建預(yù)測解決方案的常用步驟，包括：

數(shù)據(jù)詞典?
這是一種數(shù)據(jù)分析階段的產(chǎn)品，可以識別和定義哪些輸入數(shù)據(jù)字段對于解決眼前的問題是最有用的。這可以包括數(shù)值、順序和分類字段。

挖掘架構(gòu)?
定義了處理缺少值和離群值的策略。這非常有用，因為通常情況，當(dāng)將模型應(yīng)用于實踐時，所需的輸入數(shù)據(jù)字段可能為空或者被誤呈現(xiàn)。

數(shù)據(jù)轉(zhuǎn)換?
定義了將原始輸入數(shù)據(jù)預(yù)處理至派生字段所需的計算。派生字段（有時也稱為特征檢測器）對輸入字段進(jìn)行合并或修改，以獲取更多相關(guān)信息。例如，為了預(yù)測停車所需的制動壓力，一個預(yù)測模型可能將室外溫度和水的存在（是否在下雨？）作為原始數(shù)據(jù)。派生字段可能會將這兩個字段結(jié)合起來，以探測路上是否結(jié)冰。然后結(jié)冰字段被作為模型的直接輸入來預(yù)測停車所需的制動壓力。

模型定義?
定義了用于構(gòu)建模型的結(jié)構(gòu)和參數(shù)。PMML 涵蓋了多種統(tǒng)計技術(shù)。例如，為了呈現(xiàn)一個神經(jīng)網(wǎng)絡(luò)，它定義了所有的神經(jīng)層和神經(jīng)元之間的連接權(quán)重。對于一個決策樹來說，它定義了所有樹節(jié)點及簡單和復(fù)合謂語。

輸出?
定義了預(yù)期模型輸出。對于一個分類任務(wù)來說，輸出可以包括預(yù)測類及與所有可能類相關(guān)的概率。

目標(biāo)?
定義了應(yīng)用于模型輸出的后處理步驟。對于一個回歸任務(wù)來說，此步驟支持將輸出轉(zhuǎn)變?yōu)槿藗兒苋菀拙涂梢岳斫獾姆謹(jǐn)?shù)（預(yù)測結(jié)果）。

模型解釋?
定義了將測試數(shù)據(jù)傳遞至模型時獲得的性能度量標(biāo)準(zhǔn)（與訓(xùn)練數(shù)據(jù)相對）。這些度量標(biāo)準(zhǔn)包括字段相關(guān)性、混淆矩陣、增益圖及接收者操作特征（ROC）曲線圖。

模型驗證?
定義了一個包含輸入數(shù)據(jù)記錄和預(yù)期模型輸出的示例集。這是非常重要的一個步驟，因為在應(yīng)用程序之間移動模型時，該模型需要通過匹配測試。這樣就可以確保，在呈現(xiàn)相同的輸入時，新系統(tǒng)可以生成與舊系統(tǒng)同樣的輸出。 如果實際情況是這樣的話，一個模型將被認(rèn)為經(jīng)過了驗證，且隨時可用于實踐。
?

一個通用的PMML文件結(jié)構(gòu)如下(參考http://dmg.org/pmml/v4-3/GeneralStructure.html)：

<?xml version="1.0"?> <PMML version="4.3"xmlns="http://www.dmg.org/PMML-4_3"xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"><Header copyright="Example.com"/><DataDictionary> ... </DataDictionary>... a model ...</PMML>

?

3 PMML模型的生成和加載相關(guān)類庫

???????? PMML模型的生成相關(guān)的庫需要看我們使用的離線訓(xùn)練庫。如果我們使用的是sklearn，那么可以使用sklearn2pmml這個python庫來做模型文件的生成，這個庫安裝很簡單，使用"pip install sklearn2pmml"即可。如果使用的是Spark MLlib, 這個庫有一些模型已經(jīng)自帶了保存PMML模型的方法，可惜并不全。如果是R，則需要安裝包"XML"和“PMML”。此外，JAVA庫JPMML可以用來生成R,SparkMLlib,xgBoost,Sklearn的模型對應(yīng)的PMML文件。github地址是：https://github.com/jpmml/jpmml。

　?? 加載PMML模型需要目標(biāo)環(huán)境支持PMML加載的庫，如果是JAVA，則可以用JPMML來加載PMML模型文件。

??????

?????? 可以看出，要使用PMML，需要兩步的工作，第一塊是將離線訓(xùn)練得到的模型轉(zhuǎn)化為PMML模型文件，第二塊是將PMML模型文件載入在線預(yù)測環(huán)境，進(jìn)行預(yù)測。這兩塊都需要相關(guān)的庫支持。

????? 不過，當(dāng)訓(xùn)練和預(yù)測使用同一種開發(fā)語言的時候，PMML?就沒有必要使用了，因為任何中間格式都會犧牲掉獨有的優(yōu)化。

• 整個流程分為兩部分：離線和在線。
• 離線部分流程是將樣本進(jìn)行特征工程，然后進(jìn)行訓(xùn)練，生成模型。一般離線部分常用 Python 中的 sklearn、R 或者 Spark ML 來訓(xùn)練模型。
• 在線部分是根據(jù)請求得到樣本數(shù)據(jù)，對這些數(shù)據(jù)采用與離線特征工程一樣的方式來處理，然后使用模型進(jìn)行評估。一般在線部分常用 Java、C++ 來開發(fā)。
• 離線部分與在線部分是通過 PMML 連接的，也就是說離線訓(xùn)練好了模型之后，將模型導(dǎo)出為 PMML 文件，在線部分加載該 PMML 文件生成對應(yīng)的評估模型。

我們可以看到，PMML 是連接離線與在線環(huán)節(jié)的關(guān)鍵，一般導(dǎo)出 PMML 文件和 加載 PMML 文件都需要各個語言來做單獨的實現(xiàn)。不過幸運的是，已經(jīng)有很多大神實現(xiàn)了這些，可以參見：https://github.com/jpmml 。

?

4. PMML模型生成和加載示例

??????? 將離線訓(xùn)練得到的模型轉(zhuǎn)化為PMML模型文件

?????? 下面給一個示例，使用sklearn生成一個決策樹模型，用sklearn2pmml生成模型文件，用JPMML加載模型文件，并做預(yù)測。

　　首先是用用sklearn生成一個決策樹模型，由于我們是需要保存PMML文件，所以最好把模型先放到一個Pipeline數(shù)組里面。這個數(shù)組里面除了我們的決策樹模型以外，還可以有歸一化，降維等預(yù)處理操作，這里作為一個示例，我們Pipeline數(shù)組里面只有決策樹模型。代碼如下:

import numpy as np import matplotlib.pyplot as plt %matplotlib inline import pandas as pd from sklearn import tree from sklearn2pmml.pipeline import PMMLPipeline from sklearn2pmml import sklearn2pmmlimport os os.environ["PATH"] += os.pathsep + 'C:/Program Files/Java/jdk1.8.0_171/bin'X=[[1,2,3,1],[2,4,1,5],[7,8,3,6],[4,8,4,7],[2,5,6,9]] y=[0,1,0,2,1] pipeline = PMMLPipeline([("classifier", tree.DecisionTreeClassifier(random_state=9))]); pipeline.fit(X,y)sklearn2pmml(pipeline, ".\demo.pmml", with_repr = True)

上面這段代碼做了一個非常簡單的決策樹分類模型，只有5個訓(xùn)練樣本，特征有4個，輸出類別有3個。實際應(yīng)用時，我們需要將模型調(diào)參完畢后才將其放入PMMLPipeline進(jìn)行保存。運行代碼后，在當(dāng)前目錄會得到一個PMML的XML文件，可以直接打開看，內(nèi)容大概如下：

<?xml version="1.0" encoding="UTF-8" standalone="yes"?> <PMML xmlns="http://www.dmg.org/PMML-4_3" version="4.3"><Header><Application name="JPMML-SkLearn" version="1.5.3"/><Timestamp>2018-06-24T05:47:17Z</Timestamp></Header><MiningBuildTask><Extension>PMMLPipeline(steps=[('classifier', DecisionTreeClassifier(class_weight=None, criterion='gini', max_depth=None,max_features=None, max_leaf_nodes=None,min_impurity_decrease=0.0, min_impurity_split=None,min_samples_leaf=1, min_samples_split=2,min_weight_fraction_leaf=0.0, presort=False, random_state=9,splitter='best'))])</Extension></MiningBuildTask><DataDictionary><DataField name="y" optype="categorical" dataType="integer"><Value value="0"/><Value value="1"/><Value value="2"/></DataField><DataField name="x3" optype="continuous" dataType="float"/><DataField name="x4" optype="continuous" dataType="float"/></DataDictionary><TransformationDictionary><DerivedField name="double(x3)" optype="continuous" dataType="double"><FieldRef field="x3"/></DerivedField><DerivedField name="double(x4)" optype="continuous" dataType="double"><FieldRef field="x4"/></DerivedField></TransformationDictionary><TreeModel functionName="classification" missingValueStrategy="nullPrediction" splitCharacteristic="multiSplit"><MiningSchema><MiningField name="y" usageType="target"/><MiningField name="x3"/><MiningField name="x4"/></MiningSchema><Output><OutputField name="probability(0)" optype="continuous" dataType="double" feature="probability" value="0"/><OutputField name="probability(1)" optype="continuous" dataType="double" feature="probability" value="1"/><OutputField name="probability(2)" optype="continuous" dataType="double" feature="probability" value="2"/></Output><Node><True/><Node><SimplePredicate field="double(x3)" operator="lessOrEqual" value="3.5"/><Node score="1" recordCount="1.0"><SimplePredicate field="double(x3)" operator="lessOrEqual" value="2.0"/><ScoreDistribution value="0" recordCount="0.0"/><ScoreDistribution value="1" recordCount="1.0"/><ScoreDistribution value="2" recordCount="0.0"/></Node><Node score="0" recordCount="2.0"><True/><ScoreDistribution value="0" recordCount="2.0"/><ScoreDistribution value="1" recordCount="0.0"/><ScoreDistribution value="2" recordCount="0.0"/></Node></Node><Node score="2" recordCount="1.0"><SimplePredicate field="double(x4)" operator="lessOrEqual" value="8.0"/><ScoreDistribution value="0" recordCount="0.0"/><ScoreDistribution value="1" recordCount="0.0"/><ScoreDistribution value="2" recordCount="1.0"/></Node><Node score="1" recordCount="1.0"><True/><ScoreDistribution value="0" recordCount="0.0"/><ScoreDistribution value="1" recordCount="1.0"/><ScoreDistribution value="2" recordCount="0.0"/></Node></Node></TreeModel> </PMML>

　可以看到里面就是決策樹模型的樹結(jié)構(gòu)節(jié)點的各個參數(shù)，以及輸入值。我們的輸入被定義為x1-x4,輸出定義為y。

?

將PMML模型文件載入在線預(yù)測環(huán)境，進(jìn)行預(yù)測

?

創(chuàng)建一個Maven或者gradle工程，加入JPMML的依賴，這里給出maven在pom.xml的依賴，gradle的結(jié)構(gòu)是類似的。

<dependency><groupId>org.jpmml</groupId><artifactId>pmml-evaluator</artifactId><version>1.4.1</version></dependency><dependency><groupId>org.jpmml</groupId><artifactId>pmml-evaluator-extension</artifactId><version>1.4.1</version></dependency>

接著就是讀取模型文件并預(yù)測的代碼了，具體代碼如下：

import org.dmg.pmml.FieldName; import org.dmg.pmml.PMML; import org.jpmml.evaluator.*; import org.xml.sax.SAXException;import javax.xml.bind.JAXBException; import java.io.FileInputStream; import java.io.IOException; import java.io.InputStream; import java.util.HashMap; import java.util.LinkedHashMap; import java.util.List; import java.util.Map;/*** Created by 劉建平Pinard on 2018/6/24.*/ public class PMMLDemo {private Evaluator loadPmml(){PMML pmml = new PMML();InputStream inputStream = null;try {inputStream = new FileInputStream("D:/demo.pmml");} catch (IOException e) {e.printStackTrace();}if(inputStream == null){return null;}InputStream is = inputStream;try {pmml = org.jpmml.model.PMMLUtil.unmarshal(is);} catch (SAXException e1) {e1.printStackTrace();} catch (JAXBException e1) {e1.printStackTrace();}finally {//關(guān)閉輸入流try {is.close();} catch (IOException e) {e.printStackTrace();}}ModelEvaluatorFactory modelEvaluatorFactory = ModelEvaluatorFactory.newInstance();Evaluator evaluator = modelEvaluatorFactory.newModelEvaluator(pmml);pmml = null;return evaluator;}private int predict(Evaluator evaluator,int a, int b, int c, int d) {Map<String, Integer> data = new HashMap<String, Integer>();data.put("x1", a);data.put("x2", b);data.put("x3", c);data.put("x4", d);List<InputField> inputFields = evaluator.getInputFields();//過模型的原始特征，從畫像中獲取數(shù)據(jù)，作為模型輸入Map<FieldName, FieldValue> arguments = new LinkedHashMap<FieldName, FieldValue>();for (InputField inputField : inputFields) {FieldName inputFieldName = inputField.getName();Object rawValue = data.get(inputFieldName.getValue());FieldValue inputFieldValue = inputField.prepare(rawValue);arguments.put(inputFieldName, inputFieldValue);}Map<FieldName, ?> results = evaluator.evaluate(arguments);List<TargetField> targetFields = evaluator.getTargetFields();TargetField targetField = targetFields.get(0);FieldName targetFieldName = targetField.getName();Object targetFieldValue = results.get(targetFieldName);System.out.println("target: " + targetFieldName.getValue() + " value: " + targetFieldValue);int primitiveValue = -1;if (targetFieldValue instanceof Computable) {Computable computable = (Computable) targetFieldValue;primitiveValue = (Integer)computable.getResult();}System.out.println(a + " " + b + " " + c + " " + d + ":" + primitiveValue);return primitiveValue;}public static void main(String args[]){PMMLDemo demo = new PMMLDemo();Evaluator model = demo.loadPmml();demo.predict(model,1,8,99,1);demo.predict(model,111,89,9,11);} }

?

代碼里有兩個函數(shù)，第一個loadPmml是加載模型的，第二個predict是讀取預(yù)測樣本并返回預(yù)測值的。

代碼運行結(jié)果如下：

target: y value: {result=2, probability_entries=[0=0.0, 1=0.0, 2=1.0], entityId=5, confidence_entries=[]} 1 8 99 1:2 target: y value: {result=1, probability_entries=[0=0.0, 1=1.0, 2=0.0], entityId=6, confidence_entries=[]} 111 89 9 11:1

也就是樣本（1,8,99,1）被預(yù)測為類別2，而（111,89,9,11）被預(yù)測為類別1。

?

以上就是PMML生成和加載的一個示例，使用起來其實門檻并不高，也很簡單。

?

5. PMML總結(jié)與思考

　??? 第一個就是PMML為了滿足跨平臺，犧牲了很多平臺獨有的優(yōu)化，所以很多時候我們用算法庫自己的保存模型的API得到的模型文件，要比生成的PMML模型文件小很多。同時PMML文件加載速度也比算法庫自己獨有格式的模型文件加載慢很多。

　　第二個就是PMML加載得到的模型和算法庫自己獨有的模型相比，預(yù)測會有一點點的偏差，當(dāng)然這個偏差并不大。比如某一個樣本，用sklearn的決策樹模型預(yù)測為類別1，但是如果我們把這個決策樹落盤為一個PMML文件，并用JAVA加載后，繼續(xù)預(yù)測剛才這個樣本，有較小的概率出現(xiàn)預(yù)測的結(jié)果不為類別1.

　　第三個就是對于超大模型，比如大規(guī)模的集成學(xué)習(xí)模型，比如xgboost, 隨機(jī)森林，或者tensorflow，生成的PMML文件很容易得到幾個G，甚至上T，這時使用PMML文件加載預(yù)測速度會非常慢，此時推薦為模型建立一個專有的環(huán)境，就沒有必要去考慮跨平臺了。

　　此外，對于TensorFlow，不推薦使用PMML的方式來跨平臺。可能的方法一是TensorFlow serving，自己搭建預(yù)測服務(wù)，但是會稍有些復(fù)雜。另一個方法就是將模型保存為TensorFlow的模型文件，并用TensorFlow獨有的JAVA庫加載來做預(yù)測。

?

?

?

參考：

https://blog.csdn.net/hellozhxy/article/details/81563370

https://blog.csdn.net/hellozhxy/article/details/82142700

總結(jié)

以上是生活随笔為你收集整理的[机器学习]PMML预测模型标记语言的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。