一 Spark上訓(xùn)練模型優(yōu)勢與劣勢

(1)機器學(xué)習(xí)算法一般都有很多個步驟迭代計算的過程，機器學(xué)習(xí)的計算需要在多次迭代后獲得足夠小的誤差或者足夠收斂才會停止，迭代時如果使用一般的Hadoop分布式計算框架，每次計算都要讀 / 寫磁盤以及任務(wù)的啟動等工作，這回導(dǎo)致非常大的 I/O 和 CPU 消耗。而 Spark 基于內(nèi)存的計算模型天生就擅長迭代計算，多個步驟計算直接在內(nèi)存中完成.

(2)從通信的角度講，如果使用 Hadoop分布式計算框架， 工作和任務(wù)之間由于是通過 heartbeat 的方式來進行的通信和傳遞數(shù)據(jù)，會導(dǎo)致非常慢的執(zhí)行速度，正常來說會減緩機器學(xué)習(xí)的速度.spark通訊效率極高,可以解決這個問題.

目前發(fā)現(xiàn)的spark訓(xùn)練模型的劣勢:

(1)配置繁瑣,使用之前要先配置spark集群,scala編譯器,java編譯器

(2)要按照spark指定的數(shù)據(jù)格式進行訓(xùn)練,一般機器學(xué)習(xí)可以直接讀取數(shù)據(jù)例如csv,指定特征列后進行特征處理訓(xùn)練,spark的訓(xùn)練格式要把數(shù)據(jù)里面類型,標(biāo)簽提前整理好

二 Lightgbm on Spark 介紹

LigthGBM訓(xùn)練速度更快，效率更高。LightGBM比XGBoost快將近10倍。
降低內(nèi)存使用率。內(nèi)存占用率大約為XGBoost的1/6。
準(zhǔn)確性有相應(yīng)提升。
支持并行和GPU學(xué)習(xí)。
能夠處理大規(guī)模數(shù)據(jù)。

大部分使用和分析LigthGBM的都是在python單機版本上。要在spark上使用LightGBM，需要安裝微軟的MMLSpark包.

mmlspark

MMLSpark是一個工具生態(tài)系統(tǒng)，旨在將Apache Spark的分布式計算框架擴展到 幾個新的方向。MMLSpark為Spark生態(tài)系統(tǒng)添加了許多深度學(xué)習(xí)和數(shù)據(jù)科學(xué)工具，Microsoft Cognitive Toolkit（CNTK），LightGBM和?OpenCV的無縫集成。這些工具可為各種數(shù)據(jù)源提供功能強大且可高度擴展的預(yù)測和分析模型。

MMLSpark需要Scala 2.11，Spark 2.3+ (沒能測試過Spark 3.0, 應(yīng)該還不支持) 以及Python 2.7或Python 3.5+

項目地址:https://github.com/Azure/mmlspark

在Python(或Conda)安裝上嘗試MMLSpark，首先通過pip安裝PySpark, pip安裝pyspark， mmlspark

(如果pip安裝后，運行時找不到部分py, 可以從mmlspark_2.11-0.18.1.jar) 下解壓出mmlspark包 copy到 python env site-packages中

1. 使用Spark packages (會自動下載依賴的jars)
spark.jars.packages ? com.microsoft.ml.spark:mmlspark_2.11:0.18.1

spark = SparkSession \.builder \.appName("Python Lightgbm") \.config('spark.jars.packages', "com.microsoft.ml.spark:mmlspark_2.11:0.18.1") \.getOrCreate()

2.使用Spark jars (提前下載jars)??

Spark集群一般不能連接公網(wǎng)下載對應(yīng)jars，一般是用戶自己提前下載好
spark.jars? ?lightgbmlib-2.2.350.jar,mmlspark_2.11-0.18.1.jar'

spark = SparkSession \.builder \.appName("Python Lightgbm") \.config('spark.jars','/Users/jars/lightgbmlib-2.2.350.jar,/Users/jars/mmlspark_2.11-0.18.1.jar') \.getOrCreate()

??

三 Lightgbm on Spark 代碼介紹

import findsparkfindspark.init()from mmlspark.lightgbm import LightGBMClassifier from pyspark.ml.feature import VectorAssembler # from pyspark.ml.tuning import CrossValidator, ParamGridBuilder from pyspark.ml.evaluation import BinaryClassificationEvaluator from pyspark.ml import Pipeline from pyspark.sql import SparkSession# spark = SparkSession \ # .builder \ # .appName("Python Lightgbm") \ # .config('spark.jars', # './jars/lightgbmlib-2.2.350.jar,./jars/mmlspark_2.11-0.18.1.jar') \ # .getOrCreate()spark = SparkSession \.builder \.appName("Python Lightgbm") \.config('spark.jars.packages', "com.microsoft.ml.spark:mmlspark_2.11:0.18.1") \.getOrCreate()df_train = spark.read.format("csv") \.option("inferSchema", "true") \.option("header", "true") \.option("sep", ",") \.load("./data/csv_data/train.csv") df_val = spark.read.format("csv") \.option("inferSchema", "true") \.option("header", "true") \.option("sep", ",") \.load("./data/csv_data/test.csv") df_test = spark.read.format("csv") \.option("inferSchema", "true") \.option("header", "true") \.option("sep", ",") \.load("./data/csv_data/test.csv")feature_cols = list(df_train.columns) feature_cols.remove("label") # 從列名當(dāng)中刪除label才是真正的特征列表 assembler = VectorAssembler(inputCols=feature_cols, outputCol="features")lgb = LightGBMClassifier(objective="binary",boostingType='gbdt',isUnbalance=True,featuresCol='features',labelCol='label',maxBin=60,baggingFreq=1,baggingSeed=696,earlyStoppingRound=30,learningRate=0.1,lambdaL1=1.0,lambdaL2=45.0,maxDepth=3,numLeaves=128,baggingFraction=0.7,featureFraction=0.7,# minSumHessianInLeaf=1,numIterations=100,verbosity=50 )stages = [assembler, lgb] pipeline_model = Pipeline(stages=stages) model = pipeline_model.fit(df_train)train_preds = model.transform(df_train) val_preds = model.transform(df_val) test_preds = model.transform(df_test)binaryEvaluator = BinaryClassificationEvaluator() print("Train AUC: " + str(binaryEvaluator.evaluate(train_preds, {binaryEvaluator.metricName: "areaUnderROC"}))) print("Val AUC: " + str(binaryEvaluator.evaluate(val_preds, {binaryEvaluator.metricName: "areaUnderROC"}))) print("Test AUC: " + str(binaryEvaluator.evaluate(test_preds, {binaryEvaluator.metricName: "areaUnderROC"})))

lightgbmlib-2.2.350.jar ?lightgbm_python.py ?mmlspark_2.11-0.18.1.jar

四 模型其他相關(guān)代碼

LibSVM訓(xùn)練與評估

1. 數(shù)據(jù)讀取與切分

2. 模型訓(xùn)練

3. 模型特征重要度，保存模型

4 模型指標(biāo)計算

五 提交代碼到Spark集群中跑

需要準(zhǔn)備文件

lightgbmlib-2.2.350.jar ?lightgbm_python.py ?mmlspark_2.11-0.18.1.jar lightgbm_python.py 代碼如上修改 load地址改成hdfs地址 最后提交任務(wù): pylightgbm.tar.gz 這個pyenv的包可以在本地保存，也可以在hdfs上。需要安裝好python環(huán)境(numpy, pandas, mmlspark, pyspark) /home/work/cloud-hadoop-client/spark232/bin/spark-submit \ --master yarn \ --queue survey \ --deploy-mode cluster \ --name "development_lightgbm" \ --conf spark.yarn.dist.archives=hdfs://shanghai/tools/pylightgbm.tar.gz#pyenv \ --conf spark.pyspark.python=./pyenv/pylightgbm/bin/python \ --jars mmlspark_2.11-0.18.1.jar,lightgbmlib-2.2.350.jar \ --executor-memory 2G \ --driver-memory 4G \ --conf spark.driver.host=10.157.18.46 \ --conf spark.driver.maxResultSize=5g \ --executor-cores 2 \ --num-executors 2 \ lightgbm_python.py

總結(jié)

以上是生活随笔為你收集整理的[机器学习] LightGBM on Spark (MMLSpark) 使用完全手册的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。